Wraz ze wzrostem zagęszczenia sprzętu obliczeniowego chłodzenie centrum przetwarzania danych stało się znacznym wyzwaniem. Rezultatem projektów scalania serwerów przy jednoczesnym zmniejszaniu się fizycznych rozmiarów serwerów i systemów pamięci masowej jest wysoka gęstość mocy oraz wysoka gęstość ciepła. Pomimo że typowy pobór mocy na jedną obudowę w centrum danych utrzymuje się na poziomie 1 kW, urządzenia można skonfigurować w taki sposób, aby pobierały ponad 15 kW na obudowę. Przekracza to możliwości przeciętnego centrum danych, w przypadku którego zgodnie z projektem można zapewnić niezawodne chłodzenie jedynie dla gęstości 2–3 kW na obudowę. Ponadto wprowadzenie do centrów danych obudów o wysokiej gęstości powoduje powstawanie wewnątrz pomieszczenia miejsc o podwyższonej temperaturze, z którymi system chłodzenia nie będzie w stanie sobie poradzić, ponieważ w tradycyjnych projektach zakłada się względnie równomierne modele chłodzenia wewnątrz centrum danych.
System chłodzenia centrum przetwarzania danych składa się z urządzenia klimatyzacyjnego pomieszczenia komputerowego (Computer Room Air Conditioning, CRAC) oraz połączonego z nim systemu dystrybucji powietrza. W większych centrach danych zamiast urządzenia CRAC można stosować urządzenie CRAH (Computer Room Air Handling). We wszystkich systemach chłodzenia stosuje się określone urządzenia CRAC lub CRAH, które występują w modelach o różnej wydajności, a ich zadaniem jest odprowadzanie energii cieplnej z pomieszczenia. Niemniej jednak zasadnicze różnice wpływające na wydajność systemów chłodzenia dotyczą systemu dystrybucji. To na podstawie konfiguracji systemu dystrybucji rozróżnia się różne typy systemów chłodzenia centrów danych i to właśnie jest głównym tematem niniejszego artykułu.
Dziewięć typów systemów chłodzenia
Każdy system dystrybucji powietrza składa się z instalacji doprowadzającej oraz instalacji powrotnej. Instalacja doprowadzająca rozprowadza chłodne powietrze z urządzenia CRAC do obciążeń, a instalacja powrotna odprowadza zużyte powietrze z obciążeń z powrotem do urządzenia CRAC. Zarówno w przypadku instalacji doprowadzającej, jak i powrotnej, istnieją trzy podstawowe metody transportu powietrza między urządzeniem CRAC a obciążeniem, którymi są:
W swobodnym systemie dystrybucji urządzenie CRAC oraz obciążenia wypuszczają lub pobierają powietrze bezpośrednio z pomieszczenia, a pomiędzy nimi nie występują żadne specjalne przewody wentylacyjne. W częściowo kanałowym systemie dystrybucji, powietrze jest doprowadzane lub odprowadzane za pośrednictwem kanałów, które posiadają otwory wentylacyjne umiejscowione w pobliżu obciążeń. W systemie całkowicie kanałowym powietrze doprowadzane lub powrotne jest bezpośrednio doprowadzane kanałami do obciążeń lub z nich odprowadzane.
Każda z tych trzech metod (transport swobodny, transport częściowo kanałowy czy też transport całkowicie kanałowy) może być zastosowana albo na drodze doprowadzania albo na drodze powrotnej. W rezultacie daje to 9 możliwych kombinacji, czyli typów systemów dystrybucji. Każdy z tych typów wykorzystuje się w innych okolicznościach, a niekiedy w jednym centrum danych miesza się ze sobą różne typy. Niektóre z tych metod wymagają zastosowania podłogi podniesionej, a inne mogą być stosowane albo z podłogą twardą albo z podniesioną. Wszystkie 9 typów zilustrowano w tabeli 1.
Tabela 1 – 9 typów systemów chłodzenia
Uwaga 1: Termin „kanałowy” odnosi się do dowolnego typu przewodu, który może służyć do doprowadzania lub odprowadzania powietrza. Przewody w pełni kanałowej instalacji powrotnej odprowadzają gorące powietrze wylotowe z tyłu obudów.
Uwaga 2: Dla celów tego artykułu zakłada się, że nominalny kW obciążenia wymaga przepływu powietrza 160 stóp3/min, co w przypadku obecnych serwerów stanowi typowy przepływ powietrza.
W tabeli 1 przedstawiono wszystkie kombinacje metod doprowadzania i odprowadzania powietrza. Ogólnie rzecz biorąc najniższe koszty i złożoność systemu chłodzenia znajdują się w lewym górnym rogu tabeli i wzrastają dla typów występujących poniżej i na prawo wraz ze wzrostem stopnia złożoności systemu przewodów wentylacyjnych.
Zasadniczym zadaniem systemu chłodzenia centrum danych jest oddzielenie powietrza wylotowego z urządzeń od powietrza wlotowego w celu zapobieżenia ich przegrzaniu. Rozdzielenie to znacznie zwiększa sprawność i wydajność systemu chłodzenia. Przy wzroście gęstości mocy urządzeń odpowiadający mu wzrost objętości powietrza wylotowego i objętości powietrza wlotowego sprawia, że trudniej jest zapobiec pobieraniu przez urządzenia własnego powietrza wylotowego lub powietrza wylotowego z urządzeń sąsiednich. Z tego powodu wraz ze wzrostem gęstości mocy konieczny staje się częściowy lub całkowity transport powietrza doprowadzanego do wlotu urządzenia lub powietrza powrotnego z wylotu urządzenia w przewodach wentylacyjnych.
Z tymi 9 typami systemów chłodzenia wiąże się kilka dodatkowych zasad. Całkowicie kanałowe instalacje doprowadzające są zwykle stosowane w pomieszczeniach z podniesioną podłogą, gdzie występujące pod podłogą przeszkody powodowały problem niskiego ciśnienia statycznego, które uniemożliwiało dojście chłodnego powietrza do przodu obudów, co przedstawia rysunek 1B. Całkowicie kanałowe instalacje doprowadzające są także stosowane w przypadku urządzeń specjalistycznych, które wymagają bezpośredniego doprowadzenia przewodów powietrza wlotowego, takich jak komputery typu mainframe. Całkowicie kanałowe instalacje powrotne są przede wszystkim wykorzystywane w kombinacji z innymi instalacjami i mogą być stosowane w środowiskach o mieszanej gęstości.
Cztery kombinacje systemów dystrybucji swobodnej i częściowo kanałowej stanowią zdecydowaną większość wszystkich instalacji. W ramach dalszego przeglądu zalet i ograniczeń przedstawionych rozwiązań w kolejnych częściach tego artykułu instalacje podzielono na dwa typy: te wykorzystujące podłogę podniesioną oraz te, które jej nie wykorzystują.
Z tymi 9 typami systemów chłodzenia wiąże się kilka dodatkowych zasad. Całkowicie kanałowe instalacje doprowadzające są zwykle stosowane w pomieszczeniach z podniesioną podłogą, gdzie występujące pod podłogą przeszkody powodowały problem niskiego ciśnienia statycznego, które uniemożliwiało dojście chłodnego powietrza do przodu obudów, co przedstawia rysunek 1B. Całkowicie kanałowe instalacje doprowadzające są także stosowane w przypadku urządzeń specjalistycznych, które wymagają bezpośredniego doprowadzenia przewodów powietrza wlotowego, takich jak komputery typu mainframe. Całkowicie kanałowe instalacje powrotne są przede wszystkim wykorzystywane w kombinacji z innymi instalacjami i mogą być stosowane w środowiskach o mieszanej gęstości.
Cztery kombinacje systemów dystrybucji swobodnej i częściowo kanałowej stanowią zdecydowaną większość wszystkich instalacji. W ramach dalszego przeglądu zalet i ograniczeń przedstawionych rozwiązań w kolejnych częściach tego artykułu instalacje podzielono na dwa typy: te wykorzystujące podłogę podniesioną oraz te, które jej nie wykorzystują.
Tabela 2 – 9 typów systemów chłodzenia w pomieszczeniach z podłogą twardą
Wybór właściwego typu do zastosowania w pomieszczeniu z podłogą twardą
Zrozumienie różnych typów systemów chłodzenia jest kluczowe, aby można było określić, kiedy należy stosować każdy z typów. Pomimo różnic między konkretnymi przypadkami, możliwe jest podanie ogólnych wskazówek co do tego, kiedy należy stosować każdy z typów. Systemy o większych rozmiarach lub o większych wymaganiach dotyczących gęstości mocy wymagają zasadniczo bardziej skomplikowanej konstrukcji, co wiąże się zazwyczaj z prowadzeniem przewodów wentylacyjnych.
Oto klucz do skutecznego podejścia projektowego: zaprojektować system chłodzenia pod kątem wymaganej przeciętnej gęstości mocy, lecz z możliwością dostosowania wydajności chłodzenia do obudów o wysokiej gęstości w miejscu ich występowania. Obudowy o wysokiej gęstości stanowią zazwyczaj jedynie ułamek całkowitego obciążenia, lecz ich lokalizacji w centrum danych nie można dokładnie z góry przewidzieć. Strach przed niezdolnością do odpowiedniego chłodzenia potencjalnych „miejsc o podwyższonej temperaturze” wewnątrz centrum danych z wykorzystaniem tradycyjnych konstrukcji z podłogą podniesioną prowadzi do stosowania agregatu chłodzącego i systemu dystrybucji nadmiernych rozmiarów, co powoduje nadmierny wzrost kosztów kapitałowych i finansowych, a wcale nie zapewnia osiągnięcia pożądanego rezultatu. Transport powietrza doprowadzanego lub chłodzącego przewodami wentylacyjnymi zapewnia możliwość obsługi obszarów o wysokiej gęstości ciepła przy jednoczesnym uniknięciu kosztów powodowanych przez nadmierne rozmiary systemu chłodzenia.
W tabeli 3 pokazano, jako wybrać odpowiedni typ systemu chłodzenia dla pomieszczenia z podłogą twardą. Większe rozmiary i wyższa gęstość prowadzą do bardziej skomplikowanych rozwiązań w zakresie przewodów wentylacyjnych, a ponadto dla każdego typu systemu podano sposób na wstawienie kilku szaf o wysokiej gęstości, która znacznie przekracza przeciętny pobór mocy na szafę.
Tabela 3 – Wybór systemu chłodzenia dla pomieszczenia z podłogą twardą
Typy chłodzenia w pomieszczeniach z podłogą podniesioną
Mimo że w przypadku nowych konstrukcji preferowane jest rozwiązanie z podłogą twardą, istnieją sytuacje, w których właściwe jest wykorzystanie podłogi podniesionej. Rozwiązanie z podniesioną podłogą należy zastosować w przypadku, gdy:
Należy zaznaczyć, że konieczność poprowadzenia przewodów zasilających lub przewodów do transmisji danych nie jest powodem do zastosowania podłogi podniesionej. W żadnym razie nie należy wykorzystywać podłogi podniesionej na przewody zasilające lub przewody do transmisji danych z powodu możliwości znacznego obniżenia wydajności systemu chłodzenia — w centrach danych o wysokiej gęstości najlepszą praktyką jest prowadzenie przewodów zasilających i przewodów do transmisji danych górą. To pogorszenie spowodowane jest faktem, że położone pod podłogą kable zasilające i kable do transmisji danych zaburzają planowane ścieżki przepływu powietrza, blokując powietrze lub kierując jego przepływ w inną stronę. Ponadto potrzeba uzyskania dostępu do okablowania umieszczonego pod podłogą zmusza personel obsługi do otwierania płytek podłogowych w celu dodania lub usunięcia kabla, co dodatkowo zaburza przepływ powietrza do urządzeń komputerowych o kluczowym znaczeniu.
Tabela 4 – 9 typów systemów chłodzenia w pomieszczeniach z podłogą podniesioną
W pomieszczeniach z podłogą podniesioną częściowo kanałowe doprowadzenie jest realizowane pod podłogą podniesioną, co pokazano na schemacie w drugim wierszu tabeli 2. Przy założeniu istnienia podłogi podniesionej, która może zostać wykorzystana do częściowo kanałowego doprowadzania powietrza, zastosowanie doprowadzania swobodnego nie daje żadnych korzyści i nie należy go w ogóle brać pod uwagę. Z tego względu w tabeli 4 podano, że systemy z doprowadzaniem swobodnym nie są zalecane dla pomieszczeń z podłogą podniesioną.
Zastosowanie górnych przewodów powrotnych sprawia, że zasysanie powietrza powrotnego odbywać się będzie w pobliżu wylotów gorącego powietrza z urządzeń. Całkowicie kanałowy powrót pozwala wyeliminować mieszanie się powietrza, a tym samym zapewnienie jednakowych temperatur wlotowych w szafie (szczególnie w górnej części obudów) i zwiększonej sprawności urządzenia CRAC. Przewody powrotne można ponadto dopasować w taki sposób, aby zmaksymalizować zasysanie powietrza powrotnego w pobliżu miejsc o podwyższonej temperaturze w centrach danych.
Tabela 5 – Wybór systemu chłodzenia dla pomieszczenia z podłogą podniesioną
Zagadnienia z zakresu projektowania systemów chłodzenia
Po wybraniu odpowiedniego typu systemu chłodzenia do projektu systemu należy wprowadzić także inne elementy. Należą do nich następujące czynniki:
- układ szaf w naprzemiennych rzędach,
- lokalizacja urządzeń CRAC,
- liczba i lokalizacja otworów wentylacyjnych,
- rozmiary przewodów wentylacyjnych (patrz uwaga 1),
- właściwa wewnętrzna konfiguracja szaf.
Te czynniki mają znaczący wpływ na wydajność systemu, szczególnie w przypadku, gdy wielkość pomieszczenia jest bliska górnej granicy zakresu stosowania lub gdy występują wysokie gęstości mocy. W zdecydowanej większości konstrukcji istniejących centrów danych powyższe czynniki nie zostały właściwie uwzględnione i w centrach tych występują problemy związane z nieoczekiwanymi ograniczeniami pojemności, niedostateczną nadmiarowością lub niską wydajnością. Z tego względu nie należy przyjmować, że zagadnienia te są rutynową procedurą — kierownicy obiektów i kierownicy działów IT powinni je dobrze rozumieć. Bardziej szczegółowe omówienie tych zagadnień przedstawiono w dokumencie White Paper 49 firmy APC, „Avoidable Mistakes that Compromise Cooling Performance in Data Centers and Network Rooms” (dostępny tylko w języku angielskim).
Przykłady specjalistycznych elementów systemu dystrybucji powietrza
W opisanych w poprzednich częściach instalacjach dystrybucji powietrza wykorzystuje się przede wszystkim typowe urządzenia CRAC, przewody wentylacyjne, komory w podwieszonym suficie i podłogi podniesione. Te elementy są w rutynowym użyciu od dziesięcioleci i są dobrze znane w branży. Ich przykładów nie podano w tym artykule. Jednak niektóre rozwiązania całkowicie kanałowe stosowane w systemach o wysokiej gęstości realizuje się z wykorzystaniem elementów, które są stosunkowo nowe na rynku. Dla zilustrowania działania i sposobu użycia tych elementów podano tutaj ich reprezentatywne przykłady.
Elementy całkowicie kanałowej instalacji powrotnej
W przypadku obudowy o całkowicie kanałowym powrocie całe powietrze wychodzące z tyłu szafy jest przechwytywane i kierowane do przewodu powrotnego układu urządzenia CRAC. W przypadku, gdy gęstość mocy jest dostatecznie wysoka taki system kanałowy będzie, w celu pokonania oporów na drodze przepływu powietrza związanych z przechwytywaniem i transportem powietrza w przewodach i do pomocy w pokonywaniu reszty oporów związanych z okablowaniem lub przednimi drzwiami szafy, wymagał zastosowania dodatkowych wentylatorów. Przykład montowanego na szafie urządzenia, które realizuje tę funkcję, pokazano na rysunku 1A.
Rysunek 1A – Montowany na szafie podzespół wspomagający całkowicie kanałowy powrót powietrza | Rysunek 1B – Montowany w szafie podzespół wspomagający całkowicie kanałowe doprowadzanie powietrza |
Podzespół odprowadzania powietrza firmy APC, model ACF101BLK | Podzespół dystrybucji powietrza firmy APC, model ACF001 |
Elementy całkowicie kanałowej instalacji doprowadzającej
Obudowa o całkowicie kanałowym doprowadzeniu kieruje nierozproszone powietrze doprowadzane z urządzenia CRAC do wlotów powietrza urządzeń. W przypadku, gdy gęstość mocy jest dostatecznie wysoka, taki system kanałowy będzie, w celu pokonania oporów na drodze przepływu powietrza związanych z transportem powietrza przewodami i do pomocy w pokonaniu reszty oporów związanych z okablowaniem lub tylnymi drzwiami szafy, wymagał zastosowania dodatkowych wentylatorów. Na rysunku 1B podano przykład montowanego na szafie urządzenia, które realizuje tę funkcję.
W celu zapewnienia wysokiej dostępności urządzenia przedstawione na rysunkach 1A i 1B są zazwyczaj wyposażone w wentylatory N+1 i w możliwość zasilania podwójnym kablem. Ponadto w celu optymalizacji wydajności systemu można regulować prędkość wentylatorów.
Elementy systemu ze swobodnym doprowadzaniem i kanałowym powrocie
Samodzielny system chodzenia o wysokiej gęstości złożony z zestawu obudów i dedykowanego urządzenia CRAC. Dwa rzędy obudów są skierowane w przeciwne strony tak, żeby gorące powietrze wylotowe było transportowane całkowicie kanałowo ze środkowego przejścia do przewodu powrotnego układu urządzenia CRAC. Ten system jest przeznaczony do instalowania w centrum danych bez wywierania wpływu na inne szafy czy też istniejące funkcje chłodzenia. System jest pod względem termicznym „obojętny dla pomieszczenia”, co oznacza, że będzie albo pobierał chłodne powietrze z pomieszczenia i wypuszczał z powrotem do pomieszczenia powietrze o tej samej temperaturze lub wykorzystywał własną cyrkulację powietrza wewnątrz szczelnej obudowy. Przykład takiego systemu przedstawiono na rysunku 2.
Rysunek 2 – System chłodzenia zintegrowany z szafą (szafa złożona)
Całkowicie kanałowe doprowadzenie i powrót
W zastosowaniach o bardzo wysokiej gęstości na podłodze twardej, w przypadku rozwiązywania problemu punktów dostępowych lub w przypadku modernizacji systemów o wysokiej gęstości, systemy całkowicie kanałowe zarówno po stronie doprowadzania, jak i powrotu, oferują elastyczność i niezależność od istniejących czynników środowiskowych. W powyższych tabelach 2 i 3 przedstawiono opcje konstrukcyjne z całkowicie kanałowym doprowadzeniem i powrotem wraz z sąsiednim urządzeniem CRAC do zastosowań w środowiskach o wysokiej gęstości. Umieszczenie urządzenia CRAC w pobliżu daje większą kontrolę nad przepływem powietrza i eliminuje konieczność prowadzenia znacznych rozmiarów przewodów wentylacyjnych lub konstruowania dużej przestrzeni komorowej, co w innej sytuacji byłoby konieczne. Przykład zintegrowanej szafy i urządzenia CRAC, który jest całkowicie kanałowy zarówno po stronie doprowadzania, jak i powrotu, pokazano na rysunku 3.
Rysunek 3 – System chłodzenia zintegrowany z szafą (szafa pojedyncza)
W przykładzie przedstawiano szafę serwera wraz z przyległym podzespołem wężownicy/wentylatora chłodzącego umieszczonym z boku szafy. Gorące powietrze wychodzące z serwerów jest przepuszczane przez wężownice chłodzące, a otrzymane powietrze chłodne jest kierowane z powrotem do wlotów powietrza serwerów.
Wnioski
Systemy chłodzenia centrów przetwarzania danych rozróżnia się przede wszystkim po sposobie, w jaki odbywa się w nich dystrybucja powietrza. Instalacje doprowadzania powietrza oraz powrotu powietrza posiadają po 3 różne konfiguracje, które w kombinacjach dają 9 podstawowych typów systemów chłodzenia. Każdy z tych 9 typów układów chłodzenia ma określone właściwości i zalety, które sprawiają, że dany typ jest preferowany w określonych zastosowaniach.
Zrozumienie tych 9 typów systemów chłodzenia i ich cech może służyć do opracowania wskazówek co do tego, kiedy należy stosować dany typ i w tym artykule podano takie wskazówki zarówno dla zastosowań w pomieszczeniach z podłogą podniesioną, jak i podłogą twardą.
W większości przypadków preferowaną metodą budowania centrów danych jest zastosowanie podłogi twardej. Wbrew powszechnemu przekonaniu metody chłodzenia w instalacjach z podłogą twardą mogą zapewnić te same możliwości i wydajność, co w przypadku podłogi podniesionej.
Ogólnie rzecz biorąc, całkowicie kanałowe doprowadzanie lub całkowicie kanałowy powrót są stosowane w zapewniania chłodzenia obudowom działającym na poziomie mocy w zakresie od 5 do 15 kW. Ponieważ obudowy pobierające od 5 do 15 kW mocy stanowią jedynie niewielki ułamek obudów w centrum danych, metoda ta jest zazwyczaj stosowana w połączeniu z metodami prostszymi. Wykorzystywanie całkowicie kanałowej konstrukcji tylko w miejscach i sytuacjach, w których jest to konieczne, umożliwia zaprojektowanie centrum danych pod kątem przeciętnego obciążenia cieplnego przy jednoczesnym zachowaniu zdolności do chłodzenia w razie potrzeby obudów o wysokiej gęstości.