1. Jakie są przyczyny zainteresowania się tematem obejmującym sterowanie przepływem ciepła w serwerowniach ?

Postęp informatyczny ma ogromny wpływ na różne dziedziny życia ludzi – zaczynając od życia codziennego, aż do procesów zarządzania korporacjami czy państwami. Są to konsekwencje szybkiego postępu cywilizacyjnego, zbieranych nieograniczonych informacji i zasobów informatycznych oraz gwałtownego rozwoju środków komunikowania elektronicznej. W 2012 roku funkcjonowało na świecie ponad 500 tys. centrów danych jak też, że, pojedynczy ośrodek przetwarzania danych może zużywać energię elektryczną potrzebną dla średniego miasteczka, to ośrodki centrów danych stanowią ważny element rozwoju gospodarki (The New York Times, 2012).

Zdaniem znanej informatycznej firmy konsultingowej Garner Consulting tempo wzrostu popytu na moc obliczeniową rośnie w skali roku wykładniczo. Ta moc obliczeniowa wspiera Big Data i Cloud Computing, tj. dwie według IBM składowe obszary informatyki (w oparciu o dane z Technical Summit, 2013 Orlando, USA), które stają się kluczowe dla rozwoju skalowanych systemów informatycznych, gwarantujących utrzymanie stałej wydajności przy zwiększającym się obciążeniu w warunkach rosnącej liczby użytkowników oraz zwiększającej się objętości przetwarzanych danych. Systemy, o których mowa mają zastosowanie zarówno w skali mikro (przedsiębiorstwa) jak i w skali makro (np. realizacja postulatu UE dot. zarządzania inteligentnymi miastami). Składnikiem tych zasobów są centra danych (DATA CENTER), które wspierają sieć cyberpowiązań przy zrównoważonym wykorzystaniu energii.

Zdobycie nowej wiedzy oraz umiejętności do znaczących ulepszeń procesu zarządzania obiegiem ciepła w centrum danych jest obecnie konieczne ze względu na brak kontroli i zarządzania ciepłem, a tym samym utratę energii i wysokie koszty utrzymania centrów danych.

Założonym praktycznym projektu jest opracowanie metodologii oraz algorytmów zarządzania przepływem ciepła oraz równoważenia obciążenia w centrach danych, służących poprawie efektywności energetycznej, modelowania i sterowania przepływem ciepła oraz równoważenia obciążenia termicznego w centrach danych (tzw. serwerowniach).

Koszty energii elektrycznej są istotnym, jak nie najistotniejszym kosztem, utrzymania centów danych. Zainstalowane tam urządzenia komputerowe i sieciowe, systemy pomocnicze – głównie systemy chłodzące zużywają ogromną wielkość energii. Zgodnie z ostatnimi badaniami, zużycie energii elektrycznej w centrach danych (DC) na całym świecie jest szacowane na ok. 300 miliardów kWh, zaś średnia moc centrum danych to ok. 2.6 MW.

Jest to moc skupiona na bardzo małej powierzchni, co prowadzi do wyzwań związanych nie tylko z generacją takiej ilości energii i związanych z nią zanieczyszczeń i zagrożeń, ale i z jej przesyłem do miejsca odbioru, oraz z usuwaniem ciepła powstałego przy jej zużyciu. Usuwanie ciepła generowanego w dużej ilości na małej powierzchni jest kluczowe, gdyż wyposażenie komputerowe ma ściśle określone zakresy temperatur i wilgotności, których zachowanie jest podstawą niezawodnego działania i gwarancji producenta. Stąd zarówno czynniki ekonomiczne, jak i ekologiczne silnie przemawiają za redukcją zużycia energii w centrach danych (DC). Energia elektryczna w centrum danych (DC) zużywana jest na dwa główne cele:

1. Na działanie wyposażenia komputerowego, które stanowi o podstawowych funkcjach centrum danych;

2. Na działanie systemów wspierających – w tym w największej ilości na chłodzenie wyposażenia komputerowego.

Zużycie energii przez wyposażenie komputerowe jest bezpośrednio zależne od obciążenia wynikającego z działającego na nim oprogramowania. W związku z tym jest bardzo trudne do zarządzania. To zużycie energii jest właściwie całkowicie niezarządzalne w centrach danych przeznaczonym do kolokacji, to jest do udostępnienia zasobów serwerowni, gdzie w ramach usługi klient może otrzymywać miejsce w szafie serwerowej, dostęp do sieci i zasilanie, samemu dostarczając wyposażenie komputerowe (serwery, macierze, itp.). Zarówno moc nominalna tego wyposażenia, jak i jego efektywność energetyczna, jak i wiek czy częstość wymiany sprzętu, a także wielkość i zmienność obciążenia pozostają w całości pod wyłączną kontrolą klienta. W przypadku, gdy zasoby serwerowe, a dokładniej ich obciążenie, są zarządzane istnieje dodatkowa możliwość poprawienia efektywności energetycznej całego procesu poprzez „przesuwanie” obliczeń w takie rejony (szafy rack), aby obciążenie cieplne było jak najbardziej równomierne.

W centrach danych (DC) przeznaczonych do kolokacji wpływać można na zużycie energii elektrycznej głównie poprzez energooszczędność i optymalizację działania systemów pomocniczych, a w największym stopniu: systemu chłodzenia.

Zużycie światowej energii elektrycznej serwerownie jest ogromne:

– 2010 r. – serwerownie zużywały 1,3% całej światowej produkcji energii elektrycznej,

– 2012 r. – centra danych w USA zużywały około 30 mld wat.

Serwerownie zużywają ok 2% energii elektrycznej na świecie. Na podstawie przeprowadzonego badania Datacenter Dynamics 2011 wynika, że zużycie energii w centrach przetwarzania danych (DC) wzrośnie w 2012 roku o 19%. Średnia całkowita moc dostarczana do racka oscyluje wokół 4.05 kW. Na tą średnią składają się:

– 58% racków pobiera do 5 kW

– 28% pomiędzy 5 a 10 kW

– pozostałe powyżej 10 kW.

Z przeprowadzonych wyżej badań wynika, że 40% uczestników ankiety zakłada, że wzrost kosztów elektryczności będzie miał największy wpływ na ich decyzje związane z obiektami. Przy gwałtownych zmianach cen, tylko firmy, które właściwie zarządzają i optymalizują zużycie energii, mogą poprawić swoją konkurencyjność na rynku.

Redukcja zużycia energii elektrycznej w centrum danych (DC) jest możliwa między innymi poprzez zmniejszenie zużycia energii przez centralne agregaty chłodzące. Przekłada się ono na redukcję wskaźnika PUE (Power Usage Effectiveness, odwrotność wskaźnika DCiE), czyli głównego miernika efektywności energetycznej Centrum Danych.

Wskaźnik PUE (Współczynnik energooszczędności PUE dla centrów danych) definiowany jest jako stosunek ilości energii elektrycznej zużytej przez całe (komputerowe i wspomagające) wyposażenie centrum danych (DC), do ilości energii elektrycznej zużytej przez wyposażenie komputerowe. PUE ma zawsze wartość nie mniejszą niż 1. Idealna wartość to 1, zaś wartości uzyskiwane w praktyce średnio osiągają 2.8. Natychmiast przekłada się to na koszty – w przypadku niektórych DC są one tak wysokie, że już po kilku latach przewyższają nakłady na zakup komputerów, szaf i systemu chłodzenia.

Optymalizacja utrzymania warunków klimatycznych w centrach danych (DC) jest trudna, gdyż stosuje się centralne systemy chłodzące, zaś zadane warunki powinny być zachowane generalnie we wszystkich punktach centrum danych, pomimo nierównomiernego oddawania energii cieplnej przez poszczególne elementy wyposażenia. Generacja ciepła przez wyposażenie komputerowe i jej dynamika są z punktu widzenia procesu regulacji – wymuszeniami.

2. Czy wyniki badań obejmujących sterowanie przepływem ciepła w Data Center GPN-T przyniosły spodziewane korzyści ?

Tak. Realizacja projektu doprowadziła do:

1) Opracowania koncepcji dla modelu przepływu ciepła

2) Opracowania oprogramowania systemu sterowania przepływem ciepła w centrum danych (wersji beta).

3) Testowania gotowego systemu zarządzania przepływem ciepła w DATA CENTER w Pomorskim Centrum Przetwarzania Danych w Gdańskim Parku Naukowo –Technologicznym położonym przy ulicy Trzy Lipy 3 w Gdańsku.

Zebrano dane badawcze z infrastruktury istniejącej serwerowni, obejmujące temperatury powierzchni szaf przemysłowych (pomiary termowizyjne), jak też przepływy w wybranych miejscach w szafach przemysłowych oraz przez żaluzje wentylacyjne płyt podłogowych. Do pomiarów przepływów przez żaluzje wentylacyjne w płytkach podłogowych opracowano i skonstruowano balometr.

W celu wizualizacji pomiarów opracowano własne oprogramowanie Planes, na komputer klasy PC z systemem operacyjnym Microsoft Windows, przeznaczona do dwuwymiarowej interpolacji i wizualizacji temperatur powierzchni płaskich, na podstawie punktowych pomiarów ciepła powierzchni szaf przemysłowych (ang. racks) dokonanych za pomocą kamery termowizyjnej. Zaimplementowano interpolację jednowymiarową Lagrange’a, interpolację jednowymiarową kosinusową, interpolacje jednowymiarową kubiczną, oraz własną metodę interpolacji opartą o odległości punktów. Aplikacja napisana w języku C++, z użyciem biblioteki graficznej winBGIm 6.0.

Uwzględniając, że w badanym centrum danych medium chłodzącym wyposażenie informatyczne w szafach przemysłowych jest powietrze, jako model przepływu ciepła skonstruowano model przepływu powietrza chłodzącego. Ilość ciepła generowanego przez wyposażenie umieszczone w szafie przemysłowej jest znana, dzięki pomiarowi energii elektrycznej zużytej przez wyposażenie. Ilość wygenerowanego ciepła w danej lokalizacji jest wskaźnikiem zapotrzebowania na zimne powietrze w tej lokalizacji. W zamkniętym obiegu ilość ogrzanego powietrza powracającego otwartą przestrzenią serwerowni do jednostek klimatyzacyjnych jest taka sama, jak ilość zimnego powietrza doprowadzonego w pobliże szaf pod podniesioną podłogą techniczną. Ponieważ przy tym powrót powietrza nie jest kluczowy, bo odbiór ciepła z wyposażenia już się odbył, stąd opracowany model przepływu ciepła skupia się na opisie doprowadzenia zimnego powietrza w pobliże szaf przemysłowych, jako kluczowym czynniku wpływającym na jakość chłodzenia w opisanym środowisku.

W symulacjach scenariuszy what-if można przyjmować zmienioną wartość energii elektrycznej zużytej przez wyposażenie w szafie i uzyskiwać wyniki adekwatne do analizy sytuacji przeniesienia przetwarzania do szaf przemysłowych w innych lokalizacjach w ramach tego samego centrum danych

W powyższym zastosowaniu i przy stwierdzonych uwarunkowaniach oceniono, że technologia rodzajowej (generic technology) jaką jest CFD jest zbyt złożona implementacyjnie i obliczeniowo, żeby uzasadnić jej zastosowanie. Zastosowano w związku z tym w zamian model numeryczny oparty o zachowanie sumy przepływów w każdym węźle obliczeniowym; przyjęto liczbę i rozmiary węzłów obliczeniowych odpowiadającą liczbie i rozmiarom płyt podniesionej podłogi technicznej.

Opracowano zgłoszenie patentowe na modyfikację konstrukcji szafy przemysłowej, zwłaszcza teleinformatycznej i sposób chłodzenia szaf przemysłowych, zwłaszcza szaf teleinformatycznych.

W ramach projektu przeprowadzono dobór sposobu pomiarów i czujników, zbudowano dedykowany model, opracowano sposoby oddziaływania na przepływ powietrza chłodzącego, sterowanie obciążeniem, oraz zapewniono interfejsy do zarządzania.

Opracowano oprogramowanie FlowModel, aplikację przeznaczoną na komputer klasy PC, do modelowania kierunku i wielkości objętościowego przepływu powietrza chłodzącego pod podłogą techniczną, oraz wypływu powietrza spod podłogi przez kratki wentylacyjne w płytach podłogowych. Aplikacja napisana w języku C++, z użyciem biblioteki numerycznej Basic Linear Algebra Subsystem (BLAS) z biblioteki numerycznej GNU Scientific Library (GSL) v.1.6, oraz z użyciem biblioteki graficznej wxWidgets v.3.0.1.

Przy realizacji prac została zastosowana technika i inżynieria oprogramowania dotycząca projektowania. Analiza złożoności obliczeniowej algorytmów była metodą zmniejszenia złożoności algorytmów., aby uzyskać krótki czas odpowiedzi, pozwalający na bieżącą analizę scenariuszy what-if.

W drugim etapie dobrano zakresy i typy czujników temperatury, różnicowych ciśnienia i przepływu objętościowego, oraz miejsc pomiaru przy założeniach ograniczenia czasowego i masowej skali.

W trzecim etapie opracowano metody i algorytmy programowej obsługi czujników, tworząc własne mikroprocesorowe, automatyczne urządzenie pomiarowe FlowLogger. Technologia ta zapewniła odczyt parametrów w wielu lokalizacjach w centrum danych, z dużej liczby czujników, z zachowaniem reżimów czasowych przy trwałym zapisie dużej liczby danych w określonym formacie.

Opracowano zgłoszenie patentowe na urządzenie i sposób pomiaru parametrów fizycznych powietrza przepływającego pod podniesioną podłogą techniczną.

Opracowano pomocniczą aplikację EnergyReader, przeznaczona na komputer dowolnej klasy, do cyklicznego odczytu stanu licznika energii elektrycznej z wyświetlaczem ciekłokrystalicznym. Obraz pobierany jest z kamery zdalnie, z wykorzystaniem protokołów TCP/IP.

Podczas czwartego etapu rozbudowano oprogramowanie FlowModel o wizualizację do celów weryfikacji, oraz jako docelowy interfejs do wspomagania zarządzania przepływem ciepła w centrach danych.

Poprzez przeprowadzenie w trakcie trwania projektu badań i pomiarów w DATA CENTER uzyskano szereg danych, które pozwoliły na opracowanie i praktyczne zweryfikowanie modelu obiegu ciepła w produkcyjnie eksploatowanym DATA CENTER. W ramach prowadzonych badań, oprócz istniejących i normalnie wykorzystywanych do celów produkcyjnych systemów obliczeniowych Klientów DATA CENTER, do wygenerowania dodatkowego, sterowanego obciążenia obliczeniowego i cieplnego zostały zastosowane zakupione zestawy serwerowe. Opracowany model programowy pozwala na symulację rozkładu temperatury i ciśnienia pod podłogą podniesioną oraz prędkości przepływających mas powietrza przez kratki wylotowe. Przeprowadzone symulacje i eksperymenty miały na celu sprawdzenie, jaki jest wpływ aktualnej konfiguracji kratek wylotowych (które mogą znajdować się w jednym z 2 stanów: otwarte lub zamknięte) oraz nastaw wykonanych na urządzeniach chłodniczych na dostarczenia powietrza chłodzącego w sposób efektywny pod względem wymaganej wydajności oraz optymalny kosztowo. Zdobyta w ten sposób wiedza oraz umiejętności pozwalają na opracowanie zaleceń oraz sugerowanych zmian w istniejącej infrastrukturze zarządzającej obiegiem powietrza w obiektach typu DATA CENTER w celu uzyskania wymiernych oszczędności oraz przede wszystkim, zapewnienia urządzeniom poprawnych warunków pracy, co w dłuższej perspektywie czasowej wprost przekłada się na wzrost niezawodność pracy tych urządzeń i obniżenie kosztów eksploatacji. Opracowany system do symulacji pozwala również na wirtualne testowanie różnych wariantów ustawień sterowania obiegiem ciepła w obiekcie typu DATA CENTER, co umożliwia wybranie optymalnego pod względem kosztowym zestawu ustawień infrastruktury zarządzającej obiegiem ciepła.

Nieefektywne zarządzanie przepływem ciepła może mieć wiele niekorzystnych konsekwencji takich jak np. przedwczesna awaria serwerów związana z niewystarczającą ilością dostarczanego powietrza, zwiększone ryzyko awarii urządzeń klimatyzacyjnych co skutkuje zwiększeniem prawdopodobieństwa oraz długości czasu przestojów czy też niskim poziomem niezawodności całego DATA CENTER. W wyniku realizacji projektu udało się opracować modele matematyczne oraz prototypowe rozwiązania sprzętowo-programowe, które pozwalają na jednoczesną poprawę obu wskaźników tj. zarówno ekonomicznych, jak i niezawodnościowych dla obiektów typu DATA CENTER. Zgromadzone dane oraz opracowane modele mogą być zastosowane w już istniejących obiektach a także zdobytą wiedzę można wykorzystać przy projektowaniu nowych obiektów.

Ze względu na coraz większe wymagania dotyczące bezpieczeństwa oraz niezawodności w obiektach typu DATA CENTER prowadzących do rosnących kosztów obsługi takich obiektów, przeprowadzone w ramach projektu prace nad bardziej efektywnym wykorzystaniem dostępnych zasobów zimnego powietrza generowanego przez urządzenia chłodnicze opracowany system zarządzania przepływem ciepła umożliwia ograniczenie całkowitego zużycia energii przez obiekt typu DATA CENTER a tym samym redukcję kosztów utrzymania obiektu. Po wdrożeniu systemu uzyskano poprawę efektywności systemu klimatyzacji DATA CENTER poprzez wzrost temperatury w ciepłym korytarzu. Wyższa temperatura czynnika chłodniczego powracającego z serwerowni do wymienników ciepła pozwoliła także na poprawę efektywności systemu odzysku ciepła na potrzeby podgrzewania wody dla potrzeb bytowych funkcjonującym w obiekcie DATA CENTER, w którym były przeprowadzane badania w ramach projektu.

Uzyskana dzięki zdobytej wiedzy poprawa efektywności wykorzystania zasobów zimnego powietrza poprzez sterowanie jego przepływem pozwoli docelowo na umieszczenie w DATA CENTER przy tej samej mocy wejściowej urządzeń Klientów o większej łącznej mocy znamionowej, co bezpośrednio przełoży się na uzyskanie większych przychodów przez DATA CENTER.

3. Wpływ w/w badań na środowisko ?

Jest możliwość wykorzystania ciepła odpadowego centrów danych (DC) do celów własnych lub komercyjnych. W przypadku wykorzystywania ciepła odpadowego pozyskanego w wyniku zastosowaniu nowoczesnych źródeł zasilania (parametrów mierzonych w pracy w środowisku technicznym) zakłada się obniżenie mocy nawet do 70% dla centrach danych (DC) zasilanego na poziomie 1-2 MW. Przyjęto rozwiązanie, które zmierza do absorpcji ciepło odpadowego i wykorzystanie na potrzeby użytkowników. W porównaniu do dotychczas istniejących rozwiązań, proponowany system zmienia zarówno sposób zasilania, jak i odprowadzania ciepła i stanowi przedmiot badań patentowych.

4. Czy zamierzacie Państwo prowadzić dalsze badania w tym zakresie?

Problemy zarządzania energią elektryczną oraz cieplną, mają coraz większą wagę. Wzrasta ona jeszcze w przypadku infrastruktury o tak dużej gęstości energetycznej jak centra danych.

Stąd wciąż potrzebne są nowe badania, pozwalające osiągnąć zarówno korzyści ekonomiczne przy utrzymaniu centrów danych, jak i korzyści techniczne związane z transportem energii elektrycznej i cieplnej na bliższe odległości, jak i ostatecznie wynikające z tego korzyści dla środowiska naturalnego, które ma szansę być w mniejszym stopniu obciążane działalnością techniczną człowieka.

5. Czy zamierzają Państwo wprowadzić komercyjne usługi obejmujące wsparcie w zarządzaniu przepływem ciepła w serwerowniach ?

Tak. Opracowany system będzie ma szerokie zastopowanie i będzie oferowany zarówno na rynku krajowym, jak i międzynarodowym.

Docelową grupą odbiorców (klientów) wyników projektu w kontekście potrzeb prowadzonej przez nie działalności gospodarczej będą centra danych (DATA CENTER), zarówno tradycyjne, jak i kolokacyjne, których tylko w kraju jest kilka tysięcy. W zależności od specyfiki danego centrum danych (DC), różna będzie łatwość realizacji poszczególnych mechanizmów związanych z zarządzania przepływu ciepła.

Obecnie na świecie nie istnieją gotowe rozwiązania poprawy efektywności centrum danych poprzez całościową, aktywną optymalizację przepływu powietrza. Dlatego niniejszy projekt w proponowanym zakresie jest pierwszym i pionierskim przedsięwzięciem w skali światowej skupionym na stworzeniu całościowego aktywnego i inteligentnego systemu zarządzania przepływem ciepła w centrach danych o chłodzeniu z ciepłymi i zimnymi alejkami.

Oferowane rozwiązanie obejmuje elementy systemu zarządzania obiegiem ciepła, w tym model komputerowy rozpływu ciepła, w połączeniu z rozłożeniem obciążenia cieplnego (Thermal L-B), oraz elementami pomiarowymi, wykonawczymi, proceduralnymi, itd. Towarzyszy mu dokumentacja techniczna na potrzeby zarządzania obiegiem ciepła.

PODZIĘKOWANIA

LogoUE

Niniejsza praca badawcza powstała jako rezultat projektu: „Opracowanie aktywnego systemu zarządzania przepływem ciepła w centrach danych” (Projekt: POIG.01.04.00-22-063/13 współfinansowanego z Europejskiego Funduszu Rozwoju Regionalnego, w ramach Programu Operacyjnego Innowacyjna Gospodarka, Priorytet I – „Badania i rozwój nowoczesnych technologii”, Działanie 1.4 – Wsparcie projektów celowych.

Autorzy pracy pragną podziękować Narodowemu Centrum Badań i Rozwoju za udzielone wsparcie finansowe.