Na moderní datacentra jsou kladené vysoké nároky, ideálním řešením pro jejich splnění a eliminaci rizik představuje automatizace kritických procesů pomocí řídicích jednotek Unipi Axon.
Úvod
Datacentra jsou v současnosti nedílnou součástí moderních informačních služeb a jejich spolehlivý a efektivní provoz je základní podmínkou pro udržení důvěry klientů. Zákazníci datacenter si za své peníze kupují jistotu, že jejich data budou v bezpečí, vždy maximálně přístupná a chráněná před výpadky, ztrátou či poškozením. To klade velké nároky na spolehlivost datacentra a jeho schopnost vypořádat se jak s častějšími, tak i s méně předpokládanými provozními problémy – to vše při zachování nepřetržitého provozu s co nejmenším rizikem výpadků.
Chlazení a napájení představuje nejkritičtější oblasti provozu datacenter. Především u datacenter vyšších úrovní bezpečnosti se proto využívají zdvojené chladící a napájecí soustavy, které jsou na sobě navzájem nezávislé a výpadek jedné větve neovlivní činnost větve druhé. Zvláště chladící soustava coby složitý systém zahrnující velké množství komponent (chladící kompresory, čerpadla, ventilátory, servomechanismy apod.) vyžaduje schopnost obsluhy monitorovat všechny její součásti a co nejrychleji reagovat na případné problémy, od lokálního úniku chladiva až po rozsáhlé poruchy, při kterých hrozí přehřátí samotných serverů. Napájecí soustava pak musí disponovat dostatečnou redundancí na to, aby udržela chlazení i samotné servery v provozu i v případě přerušení externí dodávky elektřiny. Pro tento účel musí mít datacentra záložní zdroje v podobě online záložních zdrojů UPS a dieselagregátů.
Zvláště v poslední době se pak do popředí dostává i aspekt ekologického provozu. Provoz datacentra se vyznačuje vysokou spotřebou energie, datacentrum označené jako ekologické by tak mělo být schopno snižovat provozní nároky pomocí optimalizace spotřeby energií. Příkladem je např. metoda free-coolingu, kdy lze v zimních měsících vypnout kompresory, a pro chlazení využívat studený okolní vzduch. Datacentrum rovněž generuje velké množství odpadního tepla; to lze zpětně využít například pro ohřev užitkové vody či vytápění. Opatření tohoto druhu mohou výrazně snížit náklady na provoz datacentra a tím umožnit provozovateli snížit ceny za pronájem, čímž se datacentrum stane atraktivnějším pro zákazníky.
Vytvoření datacentra disponujícího všemi výše uvedenými vlastnostmi by ale bez odpovídajícího řídícího systému bylo velmi obtížným úkolem. Takový řídící systém by měl umožnit nejen automatizaci celého provozu datacentra, ale rovněž i být schopen automaticky reagovat na běžné výkyvy i havarijní situace bez nutnosti zásahu lidského operátora a zároveň umožnit obsluze monitorovat maximum provozních údajů pro možnost včasného odhalení poruch, prodloužení životnosti všech komponent datacentra či efektivního plánování odstávek pro údržbu systému.
Popis nového datacentra
Přesně před těmito výzvami stál zákazník z České republiky, který se rozhodl rozšířit své kapacity o druhé, zcela nové datacentrum o kapacitě 96 racků. Požadavkem při jeho vývoji byla zejména stoprocentní redundance všech klíčových prvků (chlazení, napájení aj.) s důrazem na ekologický provoz. Napájení datacentra je proto rozděleno do dvou samostatných, na sobě nezávislých větví. Každá větev je vybavena vlastní trafostanicí, pro případ výpadku je pak k dispozici jak dvojice UPS zdrojů, tak i dvojice dieselagregátů o výkonu 750 kVA každý. O část dodávky elektřiny se starají i fotovoltaické panely na střeše budovy, které jsou schopny dodat až 30 kW elektřiny
Celkové schéma rozvodu energie. Umožňuje obsluze monitorovat kompletní vedení elektřiny od trafostanice až do jednotlivých serverových místností.
Podobně je zdvojena i chladící soustava, sestávající ze dvou oddělených, na sobě nezávislých klimatizačních soustav s výkonem 500 kW. Obě větve jsou mezi sebou navíc propojeny, v případě potřeby je proto možné využít plný chladící výkon obou soustav pouze na jednu větev. V souladu se snahou o co nejekologičtější provoz je datacentrum vybaveno možností free-cool chlazení; pokud venkovní teplota klesne pod 8 °C, obsluha datacentra může vypnout chladící kompresory a vést ohřáté chladivo přímo do střešních ventilátorů, kde se k jeho ochlazení využívá studený okolní vzduch.
Rozhraní pro nastavení jističů
Chlazení samotných serverových místností je řešeno standardním systémem teplých a studených uliček. Středem serverové místnosti vede studená ulička, do které chladný vzduch dodává dvojice ventilátorů (jeden na každou chladící větev). Ohřátý vzduch je následně ventilátory samotných serverů odváděn do dvojice teplých uliček po stranách místnosti, kde jej nasává chladící soustava a proces se opakuje. Pro zajištění proudění jsou teplé uličky od uličky studené odděleny polykarbonátovou stěnou.
Důraz na ekologický provoz je realizován nejen zpětným využitím odpadního tepla (viz níže v článku), ale rovněž i používáním ekologicky nezávadného hasiva Argonite, tvořeného směsí dusíku a argonu) a ochranou před únikem chladiva. Při nákupu hardwaru je pak akcentována zejména nízká spotřeba energie, dlouhá životnost a úspornost provozu.
Rozsáhlá automatizace datacentra
Pro automatizaci všech uvedených systémů v datacentru využil zákazník řídicí systém vytvořený společností Unipi technology. Po celém datacentru jsou rozmístěny programovatelné logické kontroléry Unipi Axon, konkrétně modely Unipi Axon M515, S215 a L505, které doplňují rozšiřující moduly Unipi Extension xS10 a xS30. Jednotky jsou instalovány v několika uzlech, kdy každý uzel v rámci infrastruktury plní specifickou úlohu.
Řízení a monitoring dieselagregátů
Hlavní kontroléry Axon L505 sledují provozní parametry dieselagregátů (teplota a množství oleje, napětí v akumulátorech, otáčky apod.) včetně monitoringu zbývajícího času do údržby, provozních hodin a dalších parametrů. Agregáty jsou vybaveny vlastními řídicími jednotkami, se kterými centrální kontroléry Axon komunikují přes rozhraní RS485 (protokol Modbus RTU) a paralelně přes Ethernet (protokol Modbus TCP).
Technická obrazovka dieselagregátů v softwaru Mervis
Řízení chladících okruhů
Každý okruh je řízen kontrolérem Unipi Axon M515, doplněným o rozšiřující moduly Unipi Extension xS10 a xS30. Jednotka odečítá údaje ze soustavy průtokoměrů, teploměrů a dalších senzorů. Pomocí dálkově ovládaných ventilů následně reguluje průtok chladiva a proporcionálně řídí výkon chladících ventilátorů pro optimální chlazení serverů. V případě poruchy kontroléru pak má obsluha datacentra možnost celou chladící soustavu ovládat manuálně pomocí fyzických spínačů.
Hlavní obrazovka chladícího systému. Zobrazeny jsou teploty v jednotlivých místnostech, stav světel, stav dveří (otevřeno/zavřeno), stav ventilátorů a poloha regulačních ventilů.
Přístupový systém
Pro zabezpečení datacentra je schopnost monitorovat přístupy osob klíčová. Datacentrum společnosti pro tento účel využívá osobní RFID čipy, které zaměstnanci i klienti při odemykání dveří přikládají ke čtečkám. Přístupový systém je realizován jako sekundární funkce kontrolérů užívaných k řízení chladících okruhů, údaje ze čteček jsou proto předávány přes sériové rozhraní RS485 do jednotek Axon M515, které po ověření osobních údajů dálkově spínají zámky pomocí reléových vstupů. Záznamy o přístupu jsou navíc kontrolérem ukládány a umožňují tak přehledné sledování pohybu osob v datacentru.
Rozvaděč s jednotkou Axon M515 a rozšiřujícím modulem Extension xS40
Měření diferenčního tlaku
V serverových místnostech jsou instalovány senzory diferenčního tlaku, které měří rozdíl tlaku vzduchu v teplých a studených uličkách. Kontrolér tento rozdíl následně vyhodnocuje a odesílá do dohledového centra výslednou hodnotu diferenčního tlaku. Tento údaj slouží zejména k monitoringu a udržování přetlaku vzduchu ve studené uličce zajišťující správné proudění vzduchu. Bez tohoto přetlaku by musely ventilátory serverů zvýšit výkon pro zajištění chlazení, což by zkrátilo jejich životnost. Měření diferenčního tlaku proto mimo jiné přispívá i k prodloužení životnosti a zvýšení spolehlivosti serverů.
Využívání odpadního tepla
Chlazení serveroven vytváří velké množství odpadního tepla, které řídící systém datacentra nadále využívá. Teplo je užíváno k ohřevu užitkové vody a vytápění celého objektu datacentra. Pomocí soustavy 1-Wire teploměrů umístěných v jednotlivých místnostech pak systém automaticky udržuje optimální teplotu v objektu a vyvaruje se tak přetápění či naopak nedotápění.
Přesná fakturace spotřeby elektřiny
U každé serverové místnosti je umístěn jeden menší rozvaděč s instalovaným kontrolérem Unipi Axon S215. Ten v reálném čase odečítá údaje ze soustavy elektroměrů v každé místnosti, vybavených S0 výstupem. Získané údaje následně kontrolér agreguje a odesílá do dohledového centra, které na základě údajů o spotřebě provádí přesnou fakturaci spotřeby energie. Zákazník datacentra tak platí pouze za energii, kterou jím pronajaté servery skutečně spotřebovaly.
Rozvaděč s jednotkou Axon S215 a displeji elektroměrů
Snímání poloh ventilů
V místnosti s chladícími agregáty je instalována dvojice rozšiřujících modulů Unipi Extension xS10 (jeden na každou chladící větev), která pomocí digitálních senzorů snímá polohu klapek řídících průtok a směr průtoku chladiva. Kontrolér tyto údaje v reálném čase odesílá do dohledového centra, obsluha proto má v každý daný okamžik přehled o poloze jednotlivých ventilů a může reagovat na případné změny.
Rozšiřující moduly xS10
Monitoring celého systému
Provozní údaje a stav všech uzlů monitoruje centrální rozvaděč vybavený dvojicí kontrolérů Axon L505. Každá větev chlazení a napájení má přidělený vlastní kontrolér, který komunikuje s podřízenými řídícími jednotkami, předávají jim pokyny a monitorují jejich provoz. Všechny získané údaje jsou následně vedeny do dohledového centra, kde obsluha sleduje provoz a stav datacentra a v případě potřeby vysílá pokyny pro řídící kontroléry. Ty následně povely skrze stykače, relé či komunikační rozhraní mezi řídícími jednotkami předávají příslušným uzlům. Kontroléry rovněž navzájem sledují svůj provoz a v případě výpadku jednoho z nich jeho roli automaticky zastane druhá jednotka. Díky decentralizované architektuře pak výpadek řídícího kontroléru nijak neovlivní provoz podřízených řídících jednotek.
Řídící rozvaděč s dvojicí jednotek Axon L505
Redundance a vysoká spolehlivost kontrolérů
Kontroléry Axon jsou založeny na průmyslovém počítači se čtyřjádrovým ARM procesorem a 1GB RAM, což jim zajišťuje vysoký výpočetní výkon a krátkou dobu odezvy. Komponenty jednotky jsou chráněny odolným hliníkovým šasi s krytím IP20, které zároveň funguje i jako pasivní chladič. Díky tomu jsou Axony nejen odolné vůči působení okolních vlivů, ale rovněž disponují i rozšířeným rozsahem provozních teplot až do +70°C. Každá deska se vstupy a výstupy je navíc vybavena vlastním mikroprocesorem, který v případě selhání výpočetního modulu či softwarové chyby udržuje základní funkce vstupů a výstupů a zabraňuje tak selhání celé technologie. Na úrovni celé infrastruktury datacentra je pak řízení chlazení a napájení decentralizováno mezi více kontrolérů - díky tomu tak selhání jednoho z nich výrazněji neovlivní provoz zbytku datacentra.
Softwarové řešení
Celá vzdálená správa datacentra je řešena skrze softwarovou platformu Mervis. Tento software je dodáván ke všem jednotkám Axon jako předinstalované řešení a vyznačuje se kombinací profesionálních nástrojů dle standardu IEC 61131-3 pro programování PLC a uživatelské přívětivosti. Platforma podporuje programování chování kontrolérů metodou funkčních bloků, případně metodou strukturovaného textu, a obsahuje i integrovaný HMI editor pro tvorbu uživatelského prostředí, online cloudovou databázi a SCADA rozhraní. Právě HMI editor byl využit při vytváření uživatelského rozhraní správy datacentra; obsluha dohledového centra může díky přehlednému rozhraní snadno monitorovat stav a provozní údaje chladící soustavy, dieselagregátů, teplotu v serverovnách, stav elektrických jističů a mnoho dalšího. Systém v případě mimořádné události automaticky odesílá hlášení operátorům – pokud např. dojde k poruše jističe či v dieselagregátu poklesne hladina paliva pod určitou hladinu, obsluha kromě vizuálního upozornění v rozhraní obdrží i hlášení formou e-mailové zprávy.
