Strona Główna > Lista Artykułów Aktualności > Ulepszona architektura centrów danych o wysokiej sprawności i gęstości (Część 4 - ostatnia)

 

Neil Rasmussen 2011-01-21

Ulepszona architektura centrów danych o wysokiej sprawności i gęstości (Część 4 - ostatnia)

Ulepszona architektura centrów danych o wysokiej sprawności i gęstości (Część 4 - ostatnia)

Większość centrów danych nie wykorzystuje całej mocy, chłodzenia i objętości szaf. Podstawowym objawem w takiej sytuacji jest niska średnia gęstość mocy roboczej centrów danych. Gęstość mocy nowoczesnych urządzeń komputerowych wynosi od 5 do 20 kW na szafę, natomiast w przypadku tradycyjnych centrów danych średnia gęstość mocy wynosi 3 kW na szafę lub nawet mniej.

Narzędzia do zarządzania wydajnością –> Zwiększenie wykorzystania mocy, chłodzenia i objętości szaf

Większość centrów danych nie wykorzystuje całej mocy, chłodzenia i objętości szaf. Podstawowym objawem w takiej sytuacji jest niska średnia gęstość mocy roboczej centrów danych. Gęstość mocy nowoczesnych urządzeń komputerowych wynosi od 5 do 20 kW na szafę, natomiast w przypadku tradycyjnych centrów danych średnia gęstość mocy wynosi 3 kW na szafę lub nawet mniej. Różnica ta oznacza, że fizyczne rozmiary centrów danych są większe niż jest to wymagane. Wiąże się to z występowaniem dłuższych ścieżek przepływu powietrza, większego stopnia mieszania się powietrza, dłuższego okablowania służącego do dystrybucji zasilania i większej instalacji oświetleniowej niż jest to w rzeczywistości wymagane.

Główną przyczyną niższej gęstości mocy w centrach danych jest brak możliwości zarządzania zasilaniem, chłodzeniem i przestrzenią szaf w wydajny i przewidywalny sposób. W wyniku fizycznego rozproszenia urządzeń komputerowych obniża się sprawność systemów zasilania i chłodzenia. Efektywny system narzędzi i reguł umożliwia centrom danych pracę przy wyższej gęstości mocy i uzyskanie następujących korzyści związanych ze sprawnością:
- krótsze ścieżki przepływu powietrza, wymagające mniejszych nakładów mocy;
- mniejszy stopień mieszania się powietrza, umożliwiający uzyskanie wyższej temperatury odprowadzanego ciepła;
- wyższa temperatura odprowadzanego ciepła, pozwalająca na uzyskanie wyższej sprawności wytwornicy wody lodowej;
- wyższa temperatura odprowadzanego ciepła, pozwalająca na uzyskanie wyższej sprawności klimatyzatora;
- mniejsza długość okablowania, eliminująca straty na okablowaniu i listwach zasilających;
- identyczna infrastruktura zasilania i chłodzenia może zasilać większą liczbę urządzeń komputerowych.

Oprócz problemów z pracą przy niskiej gęstości mocy większość centrów danych działa z zachowaniem „marginesów bezpieczeństwa” systemów zasilania i chłodzenia w zakresie od 15% do 50%. Margines bezpieczeństwa stanowi wyrażoną w procentach minimalną różnicę pomiędzy obciążeniem generowanym przez urządzenia komputerowe a wartościami znamionowymi urządzeń zasilających i chłodzących. Stosowanie marginesów bezpieczeństwa jest formą celowego określania nadmiarowości, które służy do ochrony systemu przed przeciążeniem lub przegrzaniem z powodu niedokładnego określenia parametrów działania systemu. Marginesy bezpieczeństwa stanowią więc środek zaradczy na nieprawidłowości w systemie.

Marginesy bezpieczeństwa niosą ze sobą dwa czynniki obniżające wydajność systemu centrum danych. Po pierwsze, znacznie zwiększają koszty inwestycyjne, ponieważ wymuszają kupno sprzętu (w celu uzyskania dodatkowej sprawności), którego nie można użyć. Po drugie, powodują obniżenie sprawności centrum danych przez wymuszenie działania poza maksimum sprawności wynikającym z krzywej sprawności.

Efektywny system zarządzania wydajnością zawiera narzędzia i reguły umożliwiające pracę centrów danych przy wyższej gęstości mocy i uzyskanie mniejszych marginesów bezpieczeństwa z zachowaniem prawidłowego poziomu ochrony. Korzyścią z zastosowania takiego rozwiązania jest uzyskanie 5% wzrostu sprawności całej infrastruktury, a także oszczędności inwestycyjne związane z większą gęstością mocy (kolejne 5–10%). System umożliwiający zastosowanie większej ilości sprzętu komputerowego przy identycznej infrastrukturze zasilania i chłodzenia oznacza zwiększenie oszczędności inwestycyjnych i energetycznych. Można przedstawić matematyczny dowód na to, że przyrost sprawności elektrycznej związany z dołożeniem obciążenia w ramach istniejącej infrastruktury zasilania i chłodzenia jest większy niż całkowita sprawność centrum danych. Oznacza to, że bardziej opłaca się dodawać kolejne urządzenia w istniejącym niż w nowym centrum danych.

Omówienie podstaw i działania efektywnego systemu zarządzania wydajnością zasilania i chłodzenia można znaleźć w dokumencie White Paper 150 firmy APC Zarządzanie wydajnością zasilania i chłodzenia w centrach danych.

Na rysunku 9 przedstawiono dostępny w sprzedaży system zarządzania wydajnością:



Narzędzia do projektowania układu pomieszczenia –> Optymalizacja układu pomieszczenia pod kątem sprawności chłodzenia

Wiele strat sprawności centrów danych wynika ze sposobu instalacji urządzeń zasilających i chłodzących w systemie. Nawet jeśli zostaną zastosowane urządzenia zasilające i chłodzące o wysokiej sprawności, często uzyskuje się niską sprawność ogólną. Jednym z głównych powodów występowania tego problemu jest fizyczne rozmieszczenie urządzeń chłodzących i komputerowych.

Cechy układu pomieszczenia zoptymalizowanego pod kątem sprawności:
• zminimalizowana długość ścieżek przepływu powietrza, gwarantująca obniżenie mocy wentylatorów;
• zminimalizowany opór ścieżek przepływu powietrza, gwarantujący obniżenie mocy wentylatorów;
• powrót gorącego powietrza wydmuchiwanego z urządzeń komputerowych bezpośrednio do klimatyzatora w celu zmaksymalizowania wymiany ciepła;
• właściwa lokalizacja klimatyzatorów zapewniająca równoważenie przepływu powietrza i dostosowywanie do wymagań urządzeń komputerowych.

Niektóre z tych warunków są zapewniane przez konstrukcję urządzeń chłodzących, takich jak systemy chłodzenia rzędowego. Największy wpływ na optymalne działanie ma jednak rozmieszczenie urządzeń komputerowych i klimatyzatorów. Optymalne rozmieszczenie urządzeń zależy od rodzaju centrum danych, kształtu i rozmiaru pomieszczenia, docelowej gęstości mocy w pomieszczeniu oraz innych czynników zależnych od lokalizacji. Aby utworzyć optymalny układ w pomieszczeniu, należy stosować się do pewnych reguł i wyników złożonych obliczeń. Na szczęście te reguły i obliczenia można zautomatyzować dzięki narzędziom do projektowania wspomaganego komputerowo. Na rysunku 10 przedstawiono narzędzie do projektowania rozmieszczenia klimatyzatorów w centrum danych.

Ogólny wzrost sprawności po zastosowaniu nowej architektury

Połączenie omówionych elementów ulepszonej architektury pozwoli uzyskać redukcję zużycia energii o 40% w porównaniu z konstrukcjami tradycyjnymi, które opisano we wcześniejszej części dokumentu. Wyszczególnienie oszczędności dla podsystemów centrum danych przedstawiono wcześniej na rysunku 4. Przedstawiona na rysunku 11 całkowita sprawność infrastruktury centrum danych (DCiE — miara sprawności ustalona przez konsorcjum Green) jest wyrażona w postaci krzywej będącej funkcją obciążenia generowanego przez urządzenia komputerowe.

Rysunek 11a przedstawia wielkość DCiE jako funkcję obciążenia w centrach danych o wysokiej dostępności i dwutorowej architekturze zasilania wyposażonego w N+1 uzdatniaczy powietrza. Rysunek 11b przedstawia te same dane, ale dla typowego centrum danych bez nadmiarowości systemu zasilania lub chłodzenia. Wnioski wynikające z porównania obu wykresów:

• W przypadku tradycyjnych centrów danych nadmiarowość systemów zasilania i chłodzenia powoduje obniżenie całkowitej sprawności infrastruktury centrum danych (DCiE) o około 5%.
• Nadmiarowość systemów zasilania i chłodzenia ma niewielki wpływ na sprawność systemów o ulepszonej architekturze.
• Etapowe wdrażanie modułowych urządzeń zasilających i chłodzących powoduje największy wzrost sprawności w przypadku centrów danych z nadmiarowymi systemami zasilania i chłodzenia, szczególnie przy niskim obciążeniu.

Zwiększenie sprawności w sposób opisany w tym dokumencie podlega wpływom różnych czynników, w zależności od rodzaju centrum danych. Czynniki te to między innymi:
• obniżony sufit, umożliwiający powrót powietrza w tradycyjnym centrum danych;
• działające przeciwstawnie klimatyzatory umieszczone w różnych punktach obwodu pomieszczenia;
• brak układu tworzącego przejścia gorącego/zimnego powietrza;
• energooszczędne oświetlenie;
• zasilanie uzdatniaczy powietrza za pośrednictwem zasilaczy UPS;
• niezrównoważona wydajność systemów zasilania i chłodzenia;
• pełna dwutorowa architektura zasilania z uzdatniaczami powietrza;
• pełna dwutorowa architektura zasilania z wytwornicami wody lodowej;
• wytwornice wody lodowej lub systemy DX z glikolem;
• płytka, podniesiona podłoga (0,5 m lub mniej);
• duże obciążenia generowane przez urządzenia pomocnicze (przestrzeń dla obsługi, centra sieciowe);
• wysoka temperatura i/lub wilgotność;
• znaczna długość instalacji rurowej z chłodziwem.

Czynniki te nie zostały uwzględnione podczas opracowywania danych na potrzeby tego dokumentu. Można je jednak mierzyć, modelować i analizować. Modele, techniki i rodzaje analiz użyte w tym dokumencie można zastosować do określonego, istniejącego lub planowanego, centrum danych. Na przykład są one uwzględniane w usłudze oceny sprawności energetycznej centrum danych (Data Center Energy Efficiency Assessment Service) oferowanej przez firmę APC by Schneider Electric.








Porównanie z innymi proponowanymi sposobami

Wiele hipotetycznych sposobów podwyższania sprawności zasilania nie zostało uwzględnionych w proponowanej architekturze opisanej w tym dokumencie. Sprawność centrum danych będą mogły w przyszłości poprawić zmiany w architekturze dotyczące układu dystrybucji zasilania prądem stałym oraz instalacji rurowej z chłodziwem połączonej z serwerami. Warto ocenić, jaki wzrost sprawności w porównaniu z opisaną w tym dokumencie architekturą o wysokiej sprawności można uzyskać, stosując te sposoby.



Układ dystrybucji zasilania prądem stałym

Zmiana konwencjonalnego układu dystrybucji zasilania prądem przemiennym na układ dystrybucji zasilania prądem stałym prawdopodobnie mogłaby znacznie ograniczyć straty energii elektrycznej w centrach danych. Korzyści wynikałyby z wyeliminowania transformatorów obniżających napięcie w listwie zasilającej, wymiany zasilaczy UPS na przetworniki ACDC oraz instalacji nowego sprzętu komputerowego, który oprócz prądu przemiennego mógłby obsługiwać prąd stały o wysokim napięciu na wejściu. Korzyści te przedstawiono w ujęciu ilościowym w tabeli 1.



Tabela 1 pokazuje, że układ dystrybucji zasilania prądem stałym zapewnia znaczny wzrost sprawności w porównaniu z konwencjonalnym centrum danych zasilanym prądem przemiennym, ale niewielki wzrost sprawności w porównaniu z opisaną w tym dokumencie architekturą o wysokiej sprawności. Oto główne przyczyny, dla których architektura opisana w tym dokumencie uzyskuje prawie identyczną sprawność, jak hipotetyczna architektura obsługująca prąd stały o wysokim napięciu:
- W obydwu systemach wyeliminowano straty energii elektrycznej na transformatorach obniżających napięcie w listwie zasilającej.
- Nowe systemy zasilaczy UPS o wysokiej sprawności obsługujące prąd przemienny uzyskują taką samą sprawność, jak systemy wysokonapięciowe z przetwornikami ACDC.
- W obu systemach zastosowano zasilacze obsługujące wysokie napięcie, co przyczynia się do wzrostu sprawności.

Układ dystrybucji zasilania prądem stałym zapewnia niewielki wzrost sprawności w porównaniu do architektury opisanej w tym dokumencie. To rozwiązanie znajduje się jednak dopiero na etapie badań, nie zostało jeszcze wprowadzone na rynek i nie ma dla niego zatwierdzonych norm. Natomiast rozwiązanie opisane w tym dokumencie jest zgodne z regulacjami prawnymi na całym świecie i jest aktualnie dostępne na rynku. Pełne omówienie różnych typów układów dystrybucji zasilania prądem stałym oraz szczegółowa analiza ilościowa z porównaniem sprawności układów zasilania prądem przemiennym i stałym znajdują się w dokumencie White Paper 63 firmy APC Porównanie układów dystrybucji zasilania prądem przemiennym i stałym w centrach danych oraz w dokumencie White Paper 127 firmy APC Porównanie ilościowe wysokiej sprawności układów dystrybucji zasilania prądem przemiennym i stałym w centrach danych.

Instalacja rurowa z chłodziwem połączona z serwerami

Wiele strat sprawności w obecnych centrach danych jest spowodowanych problemami z przepływem powietrza. Dystrybucja energii elektrycznej jest przewidywalna, ponieważ energia ta jest przekazywana ze źródła energii bezpośrednio do sprzętu komputerowego za pomocą okablowania. Inaczej wygląda sprawa chłodzenia powietrzem, które przemieszcza się z klimatyzatorów do urządzeń komputerowych niewidzialną, a często również nieprzewidywalną ścieżką. Planując zwiększenie sprawności układu chłodzenia, można przyjąć założenie, że bezpośrednie połączenie ścieżki przepływu chłodziwa z urządzeniami komputerowymi, podobnie jak ma to miejsce w przypadku ścieżek przepływu zasilania, doprowadzi do zwiększenia przewidywalności, a być może również sprawności systemu.

Model sprawności systemu z bezpośrednim połączeniem chłodziwa z serwerami pokazuje, jak znaczny wzrost sprawności można uzyskać w porównaniu z konwencjonalnymi rozwiązaniami. Z analizy tabeli 2 wynika jednak, że instalacja rurowa z chłodziwem połączona bezpośrednio z serwerami wykazuje niewielki wzrost sprawności w porównaniu do systemu chłodzenia rzędowego o wysokiej sprawności. Większy wzrost sprawności uzyskany w przypadku zastosowania systemu chłodzenia rzędowego niż w przypadku układu z bezpośrednim połączeniem instalacji jest oczywisty, jeżeli weźmie się pod uwagę, że system chłodzenia rzędowego dostarcza chłodziwo znacznie bliżej do urządzeń.



Niestety nie ma jeszcze na rynku urządzeń komputerowych bezpośrednio połączonych z instalacją chłodzącą. Ponadto z takim rozwiązaniem wiązałyby się znaczne koszty i problemy z niezawodnością. Tymczasem opisana w tym dokumencie architektura o wysokiej sprawności umożliwia w dużej mierze uzyskanie korzyści charakterystycznych dla instalacji chłodzącej połączonej z serwerami, tyle że przy wykorzystaniu chłodzonych powietrzem urządzeń komputerowych oraz innego sprzętu dostępnego obecnie na rynku.

Praktyczne ograniczenia wydajności

W przedstawionym wcześniej omówieniu pięciu czynników „strat” w centrach danych, czyli niepotrzebnych strat sprawności i przypadków nieoptymalnej konfiguracji urządzeń, wskazano obszary wymagające ulepszenia. Powstaje pytanie, jakim praktycznym ograniczeniom podlega eliminowanie strat sprawności. Czy na przykład istnieją prawa fizyki lub zasady inżynierii, które nie pozwalają na uzyskanie dalszych oszczędności energii?

Okazuje się, że nie ma żadnych teoretycznych ograniczeń w zakresie zmniejszania strat związanych z urządzeniami „niekomputerowymi” w centrach danych. Z tego względu całość energii elektrycznej zużywanej przez urządzenia zasilające i chłodzące oraz oświetlenie należy traktować jako stratę (jest to zasilanie urządzeń POMOCNICZYCH na rysunku 1). Na przykład w centrum danych wykorzystującym naturalną konwekcję powietrza zewnętrznego w połączeniu z układami nadprzewodników można teoretycznie uzyskać zerowy poziom strat i przekazywać całość energii wejściowej do urządzeń komputerowych.

Obecnie istnieją jednak praktyczne ograniczenia sprawności systemów zasilania i chłodzenia podyktowane dostępnością technologii oraz kwestiami budżetowymi.

Najbardziej znaczącymi praktycznymi barierami na drodze do zwiększania sprawności systemów zasilania I chłodzenia, oprócz ograniczeń dotyczących ulepszonej architektury opisanej w tym dokumencie, są ograniczenia związane z systemami chłodzenia. Pompowanie i transport ciepła za pośrednictwem chłodziwa i klimatyzatorów jest stabilną i sprawdzoną technologią. W nadchodzących latach spodziewamy się dalszej optymalizacji oraz integracji tych systemów. W przypadku tradycyjnych systemów klimatyzacji spodziewany jest wzrost sprawności wynoszący 5% w porównaniu do systemów opisanych w tym dokumencie.

Technologie „darmowego chłodzenia” i wykorzystujące je systemy klimatyzacji mogą wykazywać wzrost sprawności rzędu 5–10%, w zależności od położenia geograficznego. Po uwzględnieniu spodziewanego wzrostu sprawności technologii klimatyzacyjnych pozwoli to uzyskać całkowitą sprawność infrastruktury centrum danych (DCiE) na poziomie 88% w porównaniu ze sprawności rzędu 73% uzyskiwaną przez architekturę opisaną w tym dokumencie.

Wnioski

Sprawność konwencjonalnych, starszych centrów danych jest o wiele niższa od wartości, które można by uzyskać przy użyciu sprawdzonych rozwiązań konstrukcyjnych wykorzystujących dostępne na rynku urządzenia zasilające i chłodzące. W niniejszym dokumencie przedstawiono przykład ulepszonej architektury wykorzystującej urządzenia zasilające i chłodzące o wysokiej sprawności w połączeniu ze strategiami konfiguracji i działań, które optymalizują wydajność. Najważniejszy wniosek wynikający z tego dokumentu: zakup urządzeń o wysokiej sprawności nie wystarcza do uzyskania centrum danych o wysokiej jakości. Architektura i strategia wykorzystujące sprzęt o wysokiej sprawności w wydajny sposób i ograniczające niepotrzebną nadmiarowość są równie ważne, jak same urządzenia. Zastosowanie urządzeń o wysokiej sprawności w wydajnej architekturze pozwoli uzyskać redukcję zużycia energii w centrum danych na poziomie 40% w porównaniu z konstrukcjami tradycyjnymi.


O autorze: Neil Rasmussen jest głównym wiceprezesem zespołu ds. innowacji w dziale Critical Power and Cooling Services firmy APC-MGE. Wyznacza kierunki rozwoju technologii w dziale badań i rozwoju, dysponującym największym na świecie budżetem na badania infrastruktury zasilania, chłodzenia i szaf dla sieci o znaczeniu krytycznym. Obecnie Neil kieruje zaawansowanymi pracami, które mają na celu opracowanie infrastruktury centrów danych o wysokiej sprawności, gęstości i skalowalności, a także jest głównym architektem systemu InfraStruXure firmy APC-MGE.

Przed założeniem firmy APC w 1981 r. Neil Rasmussen uzyskał tytuł inżyniera i magistra o specjalności elektrotechnika w Massachusetts Institute of Technology (MIT), gdzie napisał pracę analizującą źródło zasilania o mocy 200 MW dla reaktora termojądrowego Tokamak. W latach 1979–1981 pracował w laboratoriach MIT Lincoln Laboratories nad systemami magazynowania energii opartymi na zastosowaniu kół zamachowych oraz systemami baterii słonecznych.



Neil Rasmussen

Zapraszamy do skomentowania artykułu

Treść opini 
Popis 

Pozostałe artykuły z tej kategorii