Wskazówki dotyczące określania gęstości mocy w centrum danych (cz. 3.)

Konwencjonalne metody określania gęstości w centrum danych są niejednoznaczne i wprowadzają w błąd. Opisywanie gęstości w centrum danych przy użyciu W/m2 nie jest wystarczające, aby określić zgodność zasilania lub chłodzenia z urządzeniami obliczeniowymi o wysokiej gęstości, takimi jak serwery kasetowe, czyli blade. Praktycznie nigdy nie istniała przejrzysta, standardowa metoda określania parametrów centrów danych zapewniających ich przewidywalne zachowanie z urządzeniami o wysokiej gęstości. Właściwa specyfikacja gęstości w centrum danych powinna zapewniać przejrzyste instrukcje dotyczące projektowania i instalacji urządzeń zasilających i chłodzących, zapobiegać nadmiernej wielkości instalacji, a także maksymalizować sprawność energetyczną. W tym artykule przedstawiono podstawy teoretyczne i zastosowanie praktyczne ulepszonej metody określania specyfikacji infrastruktury zasilania i chłodzenia dla centrów danych.

Podział powierzchni na obszary gęstości
Przedstawione wcześniej wymagania jednoznacznie wskazują na potrzebę istnienia możliwości określenia różnych wartości gęstości mocy w różnych obszarach centrum danych. Jest to niezbędne, aby uzyskać możliwość wdrażania etapowego w sytuacji, gdy gęstość na kolejnych etapach może się różnić. Alternatywne rozwiązanie, jakim jest określenie maksymalnego obciążenia oczekiwanego w przyszłości dla całego centrum danych, jest całkowicie niepraktyczne, ponieważ spowoduje niepotrzebne zwiększenie kosztów inwestycyjnych i eksploatacyjnych o 3 do 8 razy oraz drastyczne obniżenie sprawności energetycznej.
Nawet w przypadku wdrożenia jednoetapowego z podziałem centrum danych na obszary gęstości mogą się wiązać znaczne korzyści. Występuje na przykład znacząca różnica gęstości mocy pomiędzy serwerami kasetowymi a pamięcią masową. Centrum danych, w którym serwery i pamięć masowa zostaną rozdzielone, uzyska wiele korzyści dzięki zaprojektowaniu oddzielnych stref o różnej specyfikacji gęstości, nawet jeśli całkowita moc obciążenia centrum danych nie zmieni się. Jeżeli położenie szaf z serwerami i pamięcią masową jest przypadkowe i nieznane z wyprzedzeniem, systemy dystrybucji zasilania i chłodzenia muszą być tak dobrane, aby zapewniać maksymalną gęstość w każdym miejscu. Jeśli jednak strefa o niższej gęstości dla systemów pamięci masowej jest wyznaczona z wyprzedzeniem, istnieje możliwość obniżenia mocy systemów zasilania i chłodzenia dla tej strefy. Zaletą takiego rozwiązania będzie redukcja kosztów inwestycyjnych i eksploatacyjnych, a także zwiększenie sprawności elektrycznej.
Obszary gęstości w centrum danych można zdefiniować na planie podłogi, rozmieszczając szafy w różnych strefach. Jednakże proponujemy rozwiązanie, w którym podział na obszary nie odbywa się w sposób dowolny, lecz zawsze polega na podziale rzędami, przy czym rząd jest grupą szaf dowolnej wielkości umieszczonych jedna przy drugiej. Wybór rzędu jako proponowanej jednostki definiowania obszarów gęstości jest związany z następującymi faktami:

Wiele architektur dystrybucji zasilania dla szaf jest opartych na rzędach.
Oznacza to, że rząd będzie preferowanym i najbardziej ekonomicznym poziomem, na którym należy definiować wymagania dotyczące gęstości. Będzie to również preferowana jednostka przyrostu wdrożenia. Ztego powodu w pozostałej części tego artykułu skupimy się na rzędzie jako poziomie definiowania wahań
gęstości dla stref.

Strategia wdrażania
Wymagania specyfikacji gęstości muszą uwzględniać urządzenia IT, które podlegają zmianom w czasie, a także uwzględniać wdrożenia etapowe. Konieczne jest przyjęcie pewnych założeń dotyczących tego, czy i jak infrastruktura zasilania i chłodzenia będzie się zmieniac czasie.
Nierozsądnym byłoby przyjęcie założenia, że istniejące urządzenia dystrybucji zasilania i powietrza będązmieniały się w reakcji na zmianę urządzeń IT. Zmiany w tych systemach, takie jak prace na obwodacelektrycznych pod napięciem lub na instalacji rurowej, mogą wymagać lub stać się przyczyną ryzyka przestoju grup szaf, a nawet całego centrum danych. Dobrze udokumentowany jest fakt, że błąd ludzki jgłówną przyczyną przestojów w centrach danych, a zmiany wprowadzane w pracujących urządzeniach stanowią główny czynnik powodujący przestoje. Z tego powodu najlepszym sposobem postępowabędzie instalacja urządzeń dystrybucji zasilania i chłodzenia dla rzędu lub strefy, a następnie niedokonywanie żadnych zmian ani rekonfiguracji urządzeń w trakcie okresu eksploatacji tego rzędu lub strefy.

Praktyczną realizacją powyższego zalecenia jest strategia wdrożenia, którą można streścić w następujący sposób:
- Rzędy szaf lub obudów należy rozmieścić na planie podłogi z uwzględnieniem standardowych przejść.
- Należy określić projektową specyfikację gęstości dla rzędu, a następnie zbudować pełny rząd zgodnie z tą specyfikacją.
- Jeżeli sprzęt do zainstalowania spełnia parametry specyfikacji projektowej dla istniejącego rzędu, który nie został jeszcze zapełniony, można zainstalować urządzenia w tym rzędzie.
- Jeżeli urządzenia do zainstalowania cechują się znacząco różną gęstością od urządzeń w niezapełnionym rzędzie, nie należy modyfikować systemów zasilania lub chłodzenia w celu zainstalowania urządzeń w tym rzędzie, lecz utworzyć nowy rząd przeznaczony dla sprzętu o wyższej gęstości.
- W miarę upływu czasu rzędy, które zostały zapełnione w niewielkim stopniu, powinny zostać przeznaczone do całkowitego rozebrania, a następnie do odbudowy z inną specyfikacją gęstości, która będzie lepiej odpowiadała bieżącym potrzebom.

Zalecane jest użycie tej strategii, ponieważ minimalizuje ona ryzyko błędu ludzkiego związanego modyfikacjami przeprowadzanymi na działających rzędach w centrum danych. Ta praktyczna i skuteczna strategia nakłada pewne ograniczenie na model specyfikacji gęstości, ponieważ systemy dystrybucji zasilania i chłodzenia dla systemu rzędów pozostają niezmienne po zakończeniu instalacji.

Należy zaznaczyć, że na rynku są dostępne pewne urządzenia dystrybucji zasilania i chłodzenia, które umożliwiają rekonfigurację architektury zasilania i chłodzenia bez ryzyka przestoju. Na przykład system InfraStruXture firmy APC umożliwia:
- zmianę mocy wyjściowej zasilacza UPS poprzez dodanie modułów podłączanych podczas pracy,
- zmianę typu i mocy gniazd w szafie poprzez listwy zasilające wymienialne podczas pracy,
- zwiększenie wydajności systemu chłodzenia dla szafy poprzez dodatkowe urządzenia montowane w szafie.
Urządzenia tego typu zapewniają dodatkową elastyczność po zakończeniu instalacji i są szczególnie przydatne w mniejszych instalacjach, w przypadku których etapowe wdrażanie rzędów jest niemożliwe.

Gęstość szczytowa a przeciętna w rzędzie lub strefie
Chociaż określenie gęstości zostałoby znacznie uproszczone, gdyby w każdej szafie znalazły się urządzenia o dokładnie takiej samej mocy, to jak wynika z wcześniejszych rozważań, jest to niepraktyczny cel o niewielkim związku z rzeczywistymi instalacjami. W rzeczywistości można oczekiwać, że gęstość w szafachbędzie się wahać od zera (patch panele) do 30 kW (serwery kasetowe o wysokiej gęstości). Taka zmienność ma ogromny wpływ na charakter efektywnej specyfikacji gęstości.
Przeciętny pobór mocy na szafę w określonym rzędzie lub strefie szaf, gdzie pobór mocy na szafę zmienia się, będzie mniejszy niż szczytowy pobór mocy na szafę. Istotny stosunek rzeczywistej mocy szczytowej do przeciętnej na szafę w rzędzie będzie więc zawsze większy lub równy 1. W celach instruktażowych warto rozważyć alternatywne metody określania gęstości mocy dla projektu rzędu, który będzie zawierał znanyzbiór szaf o zróżnicowanym poborze mocy na szafę.

Zaprojektowanie wszystkich szaf w rzędzie zgodnie z wartością szczytową. Jeden ze sposobów określania gęstości w rzędzie polega na założeniu, że wszystkie szafy w rzędzie cechują się gęstością zasilania i chłodzenia umożliwiającą osiągnięcie maksymalnego przewidywanego szczytowego poboru mocy. W tym przypadku całkowita moc zasilania i chłodzenia musi zostać dobrana z założeniem, że wszystkie szafy mogą pobierać maksymalną moc. Spowoduje to uzyskanie nadmiaru dostępnej mocy zasilania i chłodzenia, co doprowadzi do zwiększenia kosztów inwestycyjnych i eksploatacyjnych, a także obniżenia sprawności elektrycznej. Straty te będą zerowe, jeśli stosunek szczytowego do przeciętnego poboru mocy na szafę będzie równy 1, ale staną się poważne w przypadku wartości tego współczynnika równej lub większej od 1,5. Co więcej, specyfikacja dla maksymalnej mocy w najgorszym przypadku nie uwzględnia możliwości rozmieszczenia między szafami urządzeń powodujących maksymalny szczytowy pobór mocy na szafę, co mogłoby zredukować stosunek szczytowego do przeciętnego poboru mocy na szafę. Ogólnie rzecz biorąc, ogólna specyfikacja gęstości w rzędzie dla szczytowego poboru mocy na szafę w najgorszym przypadku będzie nieoptymalna, chyba że stosunek szczytowej do przeciętnej mocy na szafę będzie bliski 1, co w typowych instalacjach zdarza się jednak rzadko.

Zaprojektowanie wszystkich szaf w rzędzie zgodnie z wartością przeciętną. Inne podejście polega na zaplanowaniu wszystkich szaf przy założeniu przeciętnej gęstości mocy. Podobnie jak przy poprzednim podejściu, również ta prosta metoda nie jest satysfakcjonująca, lecz z innych powodów. Wymaga ona, aby w przypadku przekroczenia przeciętnej wartości poboru mocy przez urządzenia w szafie usuwać urządzenia aż do momentu, kiedy wartość ta będzie równa lub mniejsza od przeciętnej. Co więcej, metoda ta cechuje się pewnym dodatkowym ograniczeniem — szafy, których faktyczna gęstość jest mniejsza od gęstości określonej w projekcie, powodują zwiększenie niewykorzystanej mocy zasilania i chłodzenia, która nie możezostać użyta dla innych szaf. Jest to spowodowane tym, że rząd został zaprojektowany do zasilania i chłodzenia każdej szafy jedynie do poziomu wartości przeciętnej. Rozpatrzmy następujący scenariusz: Operator IT chce zainstalować obudowę kasetową 4 kW w rzędzie zaprojektowanym pod kątem mocy 2 kW na szafę. Można by stwierdzić, że możliwe jest przekierowanie przewodu zasilającego 2kW z nieużywanej szafy (jesli jest dostępna) do obudowy kasetowej. Jednakże chłodzenie obciążenia o mocy 4kW stanie się problematyczne ze względu na to, że system chłodzenia nie został zaprojektowany do chłodzenia szaf o mocy powyżej 2 kW. Co więcej, w wyniku takiego rozwiązania pozostanie bezużyteczna szafa, ponieważ jej zasilanie wykorzystano w innej szafie.

Porównanie powyższych scenariuszy alternatywnych z wymaganiami sugeruje, że kluczowym elementemefektywnej specyfikacji gęstości powinna być następująca reguła: konieczne jest określenie stosunku mocy szczytowej do przeciętnej na szafę w rzędzie, którego wartość powinna być większa od 1. Wybór odpowiedniego stosunku mocy szczytowej do przeciętnej na szafę będzie zależny od oczekiwanych odchyleń w rzeczywistych szafach. Ta zależność została przedstawiona na Rysunku 2 dla ograniczeń i założeń projektowych typowego centrum danych.



Rysunek 2 przedstawia, jak specyfikacja stosunku gęstości szczytowej do przeciętnej na szafę wpływa na znormalizowany całkowity koszt posiadania (TCO)1, związany z infrastrukturą zasilania i chłodzenia, na 1 kW zainstalowanego sprzętu w trzech różnych scenariuszach rzeczywistego odchylenia poboru mocy na szafę. Z danych wynika, że w przypadku, gdy wszystkie szafy mają ten sam pobór mocy, całkowity koszt posiadania jest optymalny (najniższy), kiedy stosunek gęstości szczytowej do przeciętnej na szafę wynosi 1. Można to wyjaśnić tym, że określenie dodatkowej wartości szczytowej gęstości mocy powoduje zwiększenie kosztów dystrybucji zasilania i chłodzenia, ale nie dodaje żadnej wartości, kiedy wszystkie szafy mają ten sam pobór mocy. Jednak w miarę wzrostu różnic w poborze mocy pomiędzy zainstalowanymi szafami mogą powstać znaczące koszty, jeśli nie zostanie zwiększona specyfikacja mocy szczytowej do przeciętnej. Jest to związane z niewykorzystaną dostępną mocą zasilania i chłodzenia oraz koniecznością zwiększenia powierzchni dla danego sprzętu IT. Oznacza to, że stosunek gęstości szczytowej do przeciętnej na szafę o wartości większej od 1 powoduje optymalizację całkowitego kosztu posiadania w przypadku rzeczywistych instalacji.

Prowadzi to do kolejnego kluczowego elementu efektywnej specyfikacji gęstości dla centrum danych: W przypadku typowego projektu stosunek szczytowej do przeciętnej gęstości mocy na szafę w rzędzie powinien wynosić około 2. Jeśli oczekiwane wahania rzeczywistej wartości tego stosunku w rzędzie są większe od 2, zaleca się rozmieszczenie sprzętu IT o najwyższej gęstości pomiędzy szafami w taki sposób, aby zmniejszyć wartość tego współczynnika, bądź przeniesienie skrajnych urządzeń do innych rzędów.