Vybavení datacentra a doporučení pro vysokou dostupnost

V tomto návodu vysvětlujeme, jak využít vybavení našich datacenter v Praze a Brně tak, abyste eliminovali co možná největší množství výpadků spojených s napájením, konektivitou a chlazením.

Napájení datacentra

Napájení umístěných technologií je zajišťováno ze dvou nezávislých napájecích větví střídavého napětí 230 V „A“ a „B“. Dojde-li k problému nebo servisu na jedné větvi, může umístěnou technologii napájet druhá, plně funkční větev. Jednotlivé napájecí větve jsou fyzicky oddělené, zálohované UPS a motorgenerátorem.

Jako primární zdroj napájení větví slouží dvě trafostanice vysokého napětí. Na každé větvi je v provozu jedna. Tyto trafostanice jsou určeny pouze pro napájení datacentra a nejsou sdíleny s dalšími subjekty.

K překlenutí krátkodobých výpadků energie slouží záložní zdroje UPS s oddělenými bateriovými moduly (Chloride, APC Symmetra modulator). UPS chrání veškerá zařízení před neočekávanými výkyvy v síti, jako jsou poklesy napětí, napěťové špičky nebo šumy. UPS jsou typu online.

V případě dlouhodobějších odstávek elektřiny nebo neočekávaných delších poruch se automaticky uvádí po 40 sekundách do provozu redundantní motorgenerátory 2N+1 (Broadcrown, Mitsubishi), které vydrží v provozu bez tankování minimálně 24 hodin. Každá z napájecích větví má oddělenou skupinu záložních motorgenerátorů. Datacentra jsou rovněž vybavena zásobami nafty na několik dní. Pro případ rozsáhlého celostátního výpadku energie jsou s dodavateli smluvně sjednány podmínky dovozu nové nafty.

  • Distribuční rozvaděče ve větvích umožňují napájení technologií o jmenovitých hodnotách jištění 10 A, 16 A, 32 A.
  • Motorgenerátory jsou testovány 1x měsíčně. V rámci testů je z motorgenerátorů napájena celá zátěž datacentra.

 

Specifikace napájení

Doporučení pro zákazníky:

Dbejte na to, abyste měli všechna zařízení vybavena dvěma zdroji (nejlépe typu hot-swap, které umožňují výměnu za běhu) a tyto zdroje správně zapojeny do větve A i B. U zařízení s jedním zdrojem není možné dlouhodobě udržet vysoké hodnoty dostupnosti napájení.

Konektivita

Páteřní síť MasterDC je plně redundantní. Veškeré uzly sítě jsou napojeny minimálně ze dvou nezávislých směrů. Při výpadku jedné z linek se provoz automaticky přesměruje do záložního propoje. K páteřní síti jsou redundantně připojeny jednotlivé sítě v datacentrech.

V rámci datových center je síť postavena jako L3 leaf-spine design s využitím 40 a 100GE.

Zákaznické technologie v datacentru umožňujeme připojit pomocí 1, 10, 25, 40, 100GE při využití SFP, SFP+, SFP28, QSFP+ a QSFP28 technologií, případně 1GE.

Zákazníci mohou využít připojení pomocí jedné nebo dvou větví konektivity.

Pro druhou větev konektivity podporujeme tyto L2 konfigurace zálohy:

  • L2 – Porty na straně MasterDC jsou zapojeny ve fyzicky oddělených switchích v jedné VLAN se zapnutým BPDUguard. Toto zapojení je vhodné pro připojení router portů, například serverů s active-passive bondingem, nebo firewallů v HA a VRRP na straně zákazníka.
  • L2 s STP – Porty na straně MasterDC jsou zapojeny ve fyzicky oddělených switchích v jedné VLAN se zapnutým RTSP s rootguard. Toto zapojení je vhodné pro připojení switchů s RTSP na straně zákazníka.
  • L2 s LACP – Porty na straně MasterDC jsou zapojeny ve fyzicky oddělených switchích s MLAG a na portech směrem k zákazníkovi je aktivní protokol LACP. Toto zapojení je vhodné pro servery s active-active bondingem nebo switche s podporou LACP na straně zákazníka.

Pro druhou větev konektivity podporujeme i řešení na L3 s využitím:

  • statického routingu a VRRP;
  • dynamického routingu se spojovacími sítěmi, BGP a privátním AS na straně zákazníka.

 

Doporučení pro zákazníky:

Pro vysokou dostupnost konektivity je nutné mít zařízení na straně zákazníka připojené pomocí dvou přívodů konektivity. Druhý přívod konektivity zajistí funkčnost v případě poruchy nebo servisu jednoho z přívodů. Pro L2 konfiguraci (tj. i pro připojení jednotlivých serverů) doporučujeme LACP, pro L3 dynamický routing pomocí BGP. Doporučujeme také využít 10GE konektivitu.

Chlazení

Využíváme klimatizační jednotky přesné klimatizace Vertiv (bývalý Liebert), případně Stulz, o výkonu až 100 kW v režimu N+1. V případě výpadku nebo servisu jedné z klimatizačních jednotek je její provoz pokryt ostatními. Regulace funguje jednak na principu připínání a odpínání chladících okruhů, jednak je řízena elektronicky podle tepelné zátěže. Kompresorový okruh využívá chladivo R407c. V případě free coolingových jednotek Stulz je glykolový okruh s čerpadlem napojen přes tlakové potrubí na venkovní drycoolery Güntner o výkonu 150 kW. V případě jednotek s přímým výparem jsou využity venkovní kondenzátory.

V sálech je nainstalován systém zdvojené podlahy a studených a teplých uliček. Studené uličky jsou kapotované. Klimatizační jednotky vhánějí vzduch pod podlahu, odkud se perforací v podlaze dostává do kapotovaných studených uliček. Průchodem přes technologie, umístěné v racku se vzduch ohřívá a je následně odváděn do volného prostoru, odkud jej, pod stropem, znovu nasává klimatizační jednotka k ochlazení.

  • Veškeré nevyužité pozice v racích jsou zaslepeny, aby nedocházelo k míchání studeného a teplého vzduchu.
  • Teplota ve studených uličkách se udržuje v rozmezí 22-25 °C.
  • Vlhkost v sálech je udržována v rozmezí 40-60 %.

 

Systém studených a teplých uliček

Doporučení pro zákazníky:

V racku je nutné používat zařízení s předozadním tokem chladícího vzduchu (tj. nasávající chladící vzduch ze studené uličky a vyfukující teplý do teplé). Tím je docíleno optimálního chlazení. U zařízení, která chladí opačně (tj. nasávají teplý vzduch), dochází k problémům s chlazením jak těchto zařízení, tak okolních zařízení, jelikož dochází k narušení tlaku ve studené uličce.

Je také nutné veškeré nevyužité pozice v racku zaslepit spolu s prostupy, kterými by mohl unikat studený chladící vzduch do teplého prostoru.

Sdílení

Byl pro Vás článek užitečný a srozumitelný?