Weryfikacja przydatności podłóg podniesionych w centrach danych

Niniejszy artykuł zawiera analizę okoliczności, które przyczyniły się do opracowania i stosowania podłóg podniesionych w centrach danych. Wiele przyczyn stosowania podłóg podniesionych już nie istnieje, zaś problemy związane z podłogami podniesionymi świadczą, że ich szerokie wykorzystanie jest trudne do uzasadnienia i niepożądane w wielu zastosowaniach.

Podłoga podniesiona to wszechobecna cecha każdego centrum danych. W rzeczywistości jedna z bardziej znanych definicji centrum danych mówi, że jest to miejsce przetwarzania danych z podłogą podniesioną.
Podstawową wiedzę na temat podłóg podniesionych oraz ich projektowanie w pełni rozwinięto w latach 60. XX wieku, zaś szczegółowo opisano w 1983 r. w dokumencie Federal Information Processing Standard 94. Podstawowa konstrukcja podłóg podniesionych pozostaje względnie niezmienna od 40 lat.
W branży telekomunikacyjnej stosowanie podłóg podniesionych nigdy nie było powszechne. Konwergencja systemów telekomunikacyjnych i informatycznych przyczyniła się do powstania sytuacji, w której należało zdecydować o wybraniu odpowiedniego podejścia. Ostatnio coraz więcej centrów danych jest budowanych bez podłogi podniesionej. Przegląd historii podłogi podniesionej pozwala przyjrzeć się temu trendowi.

Elementy podłogi podniesionej
Podłogę podniesioną wynaleziono i stosowano jako system, który miał zapewnić następujące funkcje:

• System dystrybucji powietrza chłodzącego
• Ścieżki, kanały lub podpory dla kabli do transmisji danych
• Kanały dla kabli zasilających
• Miedziana krata uziemiająca wyposażenie
• Instalacja przepływu schłodzonej wody lub inna instalacja rurowa

Aby zrozumieć proces ewolucji podłogi podniesionej, należy przeanalizować każdą z tych funkcji oraz początkowe wymagania, które uczyniły podłogę podniesioną odpowiednim rozwiązaniem. Dodatkowo, warto przyjrzeć się, jak te początkowe wymagania zmieniały się wraz z upływem czasu. W poniższych częściach tego dokumentu porównano początkowe i bieżące wymagania związane z powyższymi funkcjami podłogi podniesionej.

System dystrybucji powietrza chłodzącego
Początkowe wymagania:

• Chłodne powietrze jest potrzebne przy wlotach powietrza do wyposażenia.
• Wymagania dotyczące chłodzenia nie zmieniają się znacząco podczas użytkowania centrum danych.
• System może być zasilany przez kilka zasilaczy prądu przemiennego, zwiększając jego odporność na awarię.

Bieżące wymagania

• Chłodne powietrze jest wymagane przy wlotach powietrza do wyposażenia.
• Wymagania dotyczące chłodzenia zmieniają się wielokrotnie podczas użytkowania centrum danych na skutek wymiany wyposażenia.
• System może być zasilany przez kilka zasilaczy prądu przemiennego, zwiększając jego odporność na awarię.

Podłoga podniesiona spełnia początkowe wymagania, zaś dzięki możliwości zmiany i przenoszenia płytek odpowietrzających podłoga podniesiona odpowiada także bieżącym wymaganiom.

Ścieżki, kanały lub podpory dla kabli do transmisji danych
Początkowe wymagania:

• Masywne, wielożyłowe miedziane kable do transmisji danych łączą ze sobą szafy.
• Kable muszą być możliwie najkrótsze, aby zapewnić prawidłowe działanie.
• Kable muszą być niewidoczne.
• Kable nie są wymieniane podczas użytkowania centrum danych.

Bieżące wymagania:

• Cienkie światłowodowe i miedziane kable sieciowe.
• Kable są wielokrotnie wymieniane podczas użytkowania centrum danych.
• Wymagany jest łatwy dostęp do kabli.

Podłoga podniesiona była jedynym praktycznym sposobem na spełnienie początkowych wymagań, ale nie jest już niezbędna oraz niezbyt dobrze odpowiada bieżącym wymaganiom z powodu trudnego dostępu do kabli do transmisji danych. Dlatego też obecnie w większości centrów danych, w których zastosowano podłogę podniesioną, część lub wszystkie kable do transmisji danych są prowadzone górą.

Kanały dla kabli zasilających
Początkowe wymagania:

• Sprzęt IT jest na stałe podłączony do dedykowanych obwodów.
• Obwody nie są wymieniane podczas użytkowania centrum danych.

Bieżące wymagania:

• Sprzęt IT jest podłączany do standardowych gniazd.
• Znacznie większa liczba różnego sprzętu IT na metr kwadratowy.
• Sprzęt IT jest zmieniany co 2 lata.
• Obwody zasilające są wielokrotnie wymieniane podczas użytkowania centrum danych.

Podłoga podniesiona spełnia zarówno początkowe, jak i bieżące wymagania, lecz na jej niekorzyść przemawia dostęp do okablowania w przypadku jego zmiany. Dystrybucja zasilania poprowadzona górą nie miała w przeszłości żadnych zalet. Dystrybucja zasilania nadal stanowi główną przyczynę stosowania podłogi podniesionej.

Miedziana krata uziemiająca wyposażenie
Początkowe wymagania:

• Aby zapewnić prawidłowe działanie i uniknąć uszkodzeń, bezpośredni sprzężony sygnał danych wymaga wspólnego stałego uziemienia o różnicy potencjałów mniejszej niż 0,1 V.

Bieżące wymagania:

• Miedziane okablowanie sieciowe jest galwanicznie izolowane za pomocą transformatora i jest odporny na zakłócenia powodowane przez zmianę uziemienia do 1000 V, a jego długość wynosi przeważnie 50 m.
• Światłowodowe okablowanie sieciowe jest całkowicie odporne na zmiany uziemienia.

Konieczność stosowania miedzianej kraty uziemiającej została prawie całkowicie wyeliminowana. Połączenie uziemienia między szafami i panelami obwodów spełnia bieżące wymagania.

Instalacja przepływu schłodzonej wody lub inna instalacja rurowa.
Początkowe wymagania:

• Część sprzętu IT wymaga bezpośredniego podłączenia do instalacji rurowej ze schłodzoną wodą w celu zapewnienia chłodzenia.

Bieżące wymagania:

• Sprzęt IT nie wymaga bezpośredniego podłączenia do instalacji rurowej ze schłodzoną wodą w celu zapewnienia chłodzenia.

Podłoga podniesiona była jedynym praktycznym sposobem na podłączenie sprzętu IT do instalacji wodnej. Jednakże ten wymóg jest ograniczony do bardzo małego obszaru lub już nie obowiązuje w większości instalacji, szczególnie tych mniejszych.

Problemy związane z używaniem podłogi podniesionej
Powyższa analiza wskazuje, że podłoga podniesiona była bardzo efektywnym i praktycznym sposobem na spełnienie początkowych wymagań wczesnych centrów danych. Widać jednak wyraźnie, że wiele z początkowych wymagań, które wymusiły stosowanie podłóg podniesionych, obecnie już nie obowiązuje. W rzeczywistości wymagania związane z centrami danych znacząco się zmieniły i rozwinęły. Dlatego też ważne wydaje się omówienie problemów, które stwarza podłoga podniesiona.

Odporność sejsmiczna
Podłoga podniesiona w dużym stopniu utrudnia zapewnienie lub określenie nominalnej odporności sejsmicznej dla centrum danych lub jej określenie dla centrum danych. Wyposażenie pomocnicze znajdujące się nad podłogą na kracie w znacznym stopniu ogranicza możliwość umocowania sprzętu. Ponieważ każda instalacja jest inna, prawie niemożliwe jest przetestowanie lub sprawdzenie odporności sejsmicznej danej instalacji. Jest to bardzo poważny problem w przypadku, gdy określono wytrzymałość sejsmiczną.

W 1995 r. podczas wielkiego trzęsienia ziemi centra danych w japońskim mieście Kobe i jego okolicach zostały poważnie uszkodzone. Liczne centra danych, które powinny zostać ponownie uruchomione w ciągu kilku godzin lub dni, nie działały przez ponad miesiąc, gdyż wiele rzekomo odpornych na trzęsienie ziemi systemów podłóg podniesionych zostało powykrzywianych, na skutek czego sprzęt IT pospadał i uległ zniszczeniu. W efekcie należało określić, który sprzęt został uszkodzony, a następnie go naprawić lub wymienić.
Podczas zawalenia się budynków World Trade Center w 2001 r. okoliczne centra danych, które powinny były przetrwać to tragiczne zdarzenie, zostały poważnie uszkodzone i na dłuższy czas wyłączone z eksploatacji, gdyż uderzenia w budynki spowodowały wykrzywienie i zawalenie się systemów podłóg podniesionych.
Czas przestoju po trzęsieniu ziemi w okolicach Kobe wynosił do 5 tygodni.
Stosując podłogi podniesione na obszarach zagrożenia sejsmicznego, nie można oczekiwać uzyskania dostępności na poziomie pięciu dziewiątek. Nawet próba podjęcia takiego działania byłaby w rzeczywistości niemożliwa do zweryfikowania. Z tego też powodu w pomieszczeniach central telefonicznych nie stosuje się podłóg podniesionych. Jest to także najdobitniejszy powód świadczący przeciwko stosowaniu podłóg podniesionych w centrach danych o dużej dostępności.

Dostęp
Wymienianie średnio co dwa lata sprzętu w nowoczesnych centrach danych powoduje, że kable zasilające i kable do transmisji danych podlegają ciągłym zmianom. Trudność z uzyskaniem dostępu do okablowania w przypadku jego umieszczenia pod podłogą podniesioną powoduje opóźnienia i koszty związane ze zmieniającymi się potrzebami.

Obciążenie podłogi
Typowe szafy z wmontowanymi urządzeniami mogą ważyć nawet 1000 kilogramów, zaś zawsze może wystąpić potrzeba ich przetoczenia i ustawienia w innym miejscu. Dodatkowo urządzenia stosowane do przemieszczania i ustawiania urządzeń wymagają dostępu do centrum danych. W tym wypadku podłoga podniesiona może wymagać specjalnych wzmocnień, zaś w niektórych przypadkach ta możliwość jest ograniczona do wybranych przejść. Zapewnienie, że dopuszczalne obciążenie podłogi nie zostanie przekroczone, wymaga znacznych nakładów finansowych i odpowiedniego projektowania.
Pełną wartość dopuszczalnego obciążenia podłogi podniesionej można uzyskać jedynie wtedy, gdy wszystkie płytki znajdują się na swoim miejscu. Odporność podłogi na wykrzywienie (wytrzymałość poprzeczna) jest zależna od obecności płytek. Jednakże płytki, a nawet całe ich rzędy, są rutynowo zdejmowane w centrach danych na czas często wymaganej zmiany okablowania lub prac konserwacyjnych. Taka sytuacja może być przyczyną nieoczekiwanego, niebezpiecznego zawalenia się podłogi podniesionej.

Prześwit
W niektórych potencjalnych lokalizacjach centrum danych zmniejszenie kubatury pomieszczenia wynikające z zainstalowania podłogi podniesionej jest nie do przyjęcia. Fakt ten może ograniczyć liczbę możliwych lokalizacji centrum danych. W Japonii często wycina się podłogę następnego piętra budynku w celu uzyskania wymaganego prześwitu.

Kanał
Gdy okablowanie przebiega pod podłogą podniesioną, musi ono być zgodne ze specjalnymi przepisami przeciwpożarowymi. Zgodnie z przepisami podłoga podniesiona jest traktowana jako „komora powietrza”. W związku z przemieszczaniem i rozchodzeniem się powietrza przepisy przeciwpożarowe uważają pożar w komorze powietrza za szczególne niebezpieczny. Z tego powodu okablowanie w podłogach podniesionych musi być zamknięte w ognioodpornych kanałach wykonanych z metalu lub ze specjalnych ognioodpornych polimerów. Wynikiem tego jest znaczący koszt i złożoność instalacji takich kanałów, zaś wyjątkowo trudnym problemem staje się wymagana zmiana kanałów w działającym centrum danych

Bezpieczeństwo
Podłoga podniesiona to przestrzeń, w której mogą znajdować się urządzenia lub osoby. W przypadku centrów danych podzielonych klatkami, takich jak przylegające obiekty, podłoga podniesiona umożliwia uzyskanie dostępu do obszarów znajdujących się w klatkach. Z tego powodu w wielu przylegających do siebie obiektach nie stosuję się systemów podłóg podniesionych.

Dystrybucja zasilania
Liczba obwodów na metr kwadratowy w nowoczesnym centrum danych jest znacznie większa niż w okresie powstawania architektury podłóg podniesionych. W erze komputerów typu mainframe pojedynczy zainstalowany na stałe obwód prądu o wysokim natężeniu mógł obsłużyć szafę zajmującą 6 płytek podłogowych lub 2,2 metra kwadratowego. Dziś, na tej samej powierzchni można zmieścić dwie szafy, z których każda może wymagać 12 kW z obwodów 230 V; w przypadku dwóch torów zasilających A i B podwaja to jeszcze liczbę obwodów. Gęstość kanałów wynikająca z tak poważnego wzrostu liczby obwodów stanowi poważną przeszkodę dla przepływu powietrza pod podłogą. Zapewnienie odpowiedniego przepływu powietrza może wymagać podłogi podniesionej o wysokości 120 cm. Zwiększanie wysokości podłogi podniesionej pogarsza strukturalną integralność, zwiększa koszt elementów, zmniejsza obciążenie oraz odporność na trzęsienia ziemi.

Czyszczenie
Podłoga podniesiona to obszar, który nie jest zbyt wygodny do czyszczenia. Pod podłogą podniesioną zazwyczaj gromadzi się pył, piasek i różne przedmioty; są one tam zostawiane, gdyż trudność i niebezpieczeństwo wypadku związane z wyczyszczeniem tego obszaru są uważane za poważne przeszkody. Usunięcie płytki podłogowej może spowodować poważną zmianę ruchu powietrza pod podłogą, co często powoduje, że piasek, a nawet przedmioty zostają wyrzucone podmuchem powietrza i dostają się do urządzeń lub do oczu pracowników.

Bezpieczeństwo
Niezałożona płytka podłogowa stanowi poważne i nieoczekiwane niebezpieczeństwo dla operatorów i gości poruszających się po centrum danych. W centrach danych, gdzie wysokość podłogi podniesionej wynosi 120 cm lub więcej, znacznie wzrasta niebezpieczeństwo wypadku na skutek wpadnięcia w otwór po niezałożonej płytce. W okresie użytkowania współczesnych centów danych często dochodzi do przenoszenia wyposażenia, co stwarza niebezpieczeństwo przekroczenia dopuszczalnego obciążenia podłogi prowadzącego do jej zawalenia.

Koszt
Podłoga podniesiona jest bardzo kosztowna. Typowy koszt podłogi podniesionej, wliczając projektowanie, koszt materiałów, produkcję, instalację i kontrolę sięga 200 USD na metr kwadratowy. Co więcej, podłoga podniesiona pokrywa zazwyczaj maksymalną przestrzeń, która może zostać wykorzystana jako centrum danych bez względu na to, czy w wymaganiach obecnych, wymaganiach dotyczących najbliższej przyszłości lub nawet rzeczywistych wymaganiach zdefiniowano wykorzystanie tego obszaru. Koszt wynoszący 200 USD na metr kwadratowy nie obejmuje dodatkowych kosztów związanych z kablami zasilającymi i kablami do transmisji danych. Stanowi to poważny koszt, który należy ponieść jedynie wtedy, gdy jest to rzeczywiście konieczne.

Bariery w wyeliminowaniu podłogi podniesionej
Chociaż w coraz większej liczbie instalacji wyeliminowano podłogę podniesioną, a korzyści z tego płynące są poważne, niektóre centra danych wciąż projektuje się z zastosowaniem podłogi podniesionej. Na podstawie rozmów przeprowadzonych z użytkownikami podłóg podniesionych firma APC zidentyfikowała następujące bariery:

Postrzeganie
Podłoga podniesiona stanowi symbol centrum danych o dużej dostępności w przedsiębiorstwie. Dla wielu firm prezentacja centrum danych jest ważną częścią zwiedzania obiektu przez kluczowych klientów. Centra danych, które nie posiadają połogi podniesionej, są postrzegane jako niekompletne, wadliwe lub nienajlepszej jakości. W wyniku tego podłoga podniesiona jest instalowana w ramach tworzenia wizerunku firmy. W niektórych wypadkach zainstalowano podłogi podniesione, które nie są wykorzystywane do chłodzenia, prowadzenia kabli i w gruncie rzeczy nie pełnią żadnej innej funkcji poza tworzeniem pożądanego wizerunku. Ta kwestia to z pewnością największa bariera w wyeliminowaniu podłogi podniesionej.

Konstrukcja układu chłodzenia
Projektanci i operatorzy centrów danych cenią elastyczność zapewnianą przez konstrukcje umożliwiające chłodzenie stosowane w podłodze podniesionej. Podłoga podniesiona pozwala na pewne przemieszczanie płytek odpowietrzających w celu uzyskania żądanego profilu temperaturowego. Jest to trudniejsze do zrealizowania w systemie przewodowym, w którym zastosowano biegnące górą rury z powietrzem. Dodatkowo, doświadczenie w projektowaniu systemów dystrybucji powietrza w podłodze poniesionej jest dużo większe, z tego też powodu projektanci potrafią lepiej przewidzieć wydajność systemu.

Dystrybucja zasilania
Z powodu przejścia z małej liczby większych urządzeń informatycznych do stosunkowo dużo większej liczby mniejszych urządzeń, liczba obwodów na metr kwadratowy w nowoczesnym centrum danych jest dużo wyższa niż w okresie powstawania architektury podłogi podniesionej. Potrzebne jest miejsce, w którym te obwody będą przebiegać. Jeśli nie stosuje się podłogi podniesionej, obwody takie należy poprowadzić górą. Instalowanie i konserwowanie obwodów montowanych pod sufitem może okazać się trudniejsze niż zarządzanie obwodami biegnącymi pod podłogą.


Projektowanie bez podłogi podniesionej
Koszty i problemy związane z podłogą podniesioną można wyeliminować jedynie w przypadku znalezienia praktycznej i dostępnej alternatywy. Na szczęście istnieje pewna liczba rozwiązań konstrukcyjnych, które to umożliwiają. Ogólnie rzecz biorąc, metody chłodzenia bez stosowania podłogi podniesionej można podzielić na trzy kategorie:

1. Małe centra danych (<100 metrów kwadratowych): Jednostki chłodzące zamontowane w szafach, ścianach lub w suficie działające bez przewodów.
2. Średnie centra danych (100–500 metrów kwadratowych): Stojące na podłodze urządzenia CRAC z bezprzewodowym systemem dystrybucji i z komorą zwrotną o obniżonym suficie.
3. Duże centra danych (>500 metrów kwadratowych): Stojące na podłodze urządzenia CRAC lub jednostki do montażu na dachu z prowadzonymi górą przewodami systemu dystrybucji zimnego powietrza połączonymi komorą zwrotną o otwartym lub obniżonym suficie.

Te metody zostały już wykorzystane, ale wskazówki dotyczące wyposażenia i projektowania dla tego typu instalacji nie są jeszcze w pełni dopracowane w porównaniu z projektami wykorzystującymi podłogi podniesione. Z tego powodu wiele systemów tego typu ma unikalny charakter. Firmy projektowe oraz dostawcy muszą powiększyć swe bazy produktów i wiedzy zanim instalacje tego typu będzie można stosować z przewidywalnością oferowaną przez rozwiązania z podłogą podniesioną.

Ostatnie innowacje w zakresie dystrybucji zasilania szaf, która została poprowadzona górą, stanowią tańszą opcję w porównaniu do systemów dystrybucji zasilania poprowadzonych pod podłogą. W połączeniu z pojawiającymi się metodami chłodzenia prowadzonego górą, tworzą one praktyczną alternatywę. która nie ma wad podłóg podniesionych.

Wniosek
Wiele z powodów, które doprowadziły do stosowania podłóg podniesionych obecnie już nie istnieje. Brak istotnej przyczyny technicznej wymuszającej stosowanie podłóg podniesionych w połączeniu z problemami, które są z nimi związane, zdają się świadczyć o tym, że ich szerokie wykorzystanie nie ma już ani ekonomicznego ani technicznego uzasadnienia w większości zastosowań, a szczególnie w przypadku mniejszych centrów danych. Ostatnio wprowadzone rozwiązania likwidują ograniczenia techniczne, które uniemożliwiały wyeliminowanie podłogi podniesionej. Mimo to, w centrach danych najprawdopodobniej jeszcze przez pewien czas podłogi podniesione będą stosowane z powodu dużego doświadczenia w zakresie ich projektowania oraz z powodu nieuchwytnych kwestii postrzegania i wizerunku.