FS Data Blogg

Så löste vi vårt elproblem

Publicerat den 14 december, 2011 av Jonathan Sulo. Lagrat i Drift

Nu är det dags att runda av och avsluta kapitlet om elproblemet som orsakade två stora avbrott hos oss föregående månad. Med fullt fungerande och väldigt kraftfulla batterier- och dieselaggregat är strömavbrott nu ett minne blott hos oss.

Så här gick det till:

Natten mellan torsdag-fredag förra veckan utförde vi ett planerat elarbete i vÃ¥ra serverhallar. Detta annonserades i förväg till vÃ¥ra kunder via e-post, vÃ¥r hemsida, Twitter och Facebook. Arbetet planerades in mellan kl. 23:00 – 04:00, för att minimera pÃ¥verkan av vÃ¥ra kunders tjänster och servrar.

Strax innan kl. 23:00 stängde vi av vårt brandlarm och inbrottslarm. Förutom våra egna tekniker så var även specialiserade elektriker på plats, tillsammans med personal från vårt elbolag Öresundskraft. Vi meddelade även vårt bevakningsföretag och stängde ned vårt eget övervakningssystem och våra backupservrar.

Kl. 23:00 påbörjades arbetet med att stänga av samtliga servrar och tjänster. Att stänga av en server handlar om mer än att bara trycka på en knapp. Om servern inte stängs ned ordentligt kan både hård- och mjukvara gå sönder. Det gäller dessutom att stänga ner samtliga tjänster i rätt ordning, för att undvika dataförlust.

Strax innan kl. 00:00 var samtliga servrar nedstängda. Allting dubbelkollades ordentligt, innan elförsörjningen till våra serverhallar stängdes av helt kl. 00:15. Därefter påbörjade elektrikerna och personalen från Öresundskraft arbetet med att åtgärda noll-felet som tidigare orsakat våra avbrott.

Kl. 00:34 var arbetet med noll-felet klart. Då kopplades strömmen på, tillsammans med våra batteriaggregat (UPS:er). Kl. 00:45 testade vi att bryta strömmen och UPS:erna gick igång precis som de ska. Därefter kopplade vi in vårt dieselaggregat och kl. 01:01 utförde vi ett fullständigt avbrottstest. UPS:erna startade, följt av dieselaggregatet.

Kl. 01:10 inleddes uppstart av samtliga servrar och tjänster. Några säkringar utlöstes, pga den mänskliga faktorn, men åtgärdades snabbt. Kl. 02:22 var allt uppe och vi utförde ett fullskaligt avbrottstest. UPS:erna startade precis som tidigt, följt av dieselaggregatet. Elproblemet är därmed garanterat löst.

Elektrikerna och personalen från Öresundskraft åkte därefter hem, medan våra egna tekniker kontrollerade så att allting fungerade ordentligt (och åtgärdade de servrar/tjänster som ännu inte fungerade). Våra tekniker assisterade även vår kundtjänst och besvarade frågor som inkom efter/i samband med elarbetet.

Som tidigare noterat så kommer vi att följa upp detta ordentligt och regelbundet kontrollera så att alla dessa säkerhetssystem fungerar som de ska. FS Data besitter en enormt kraftfull och kompetent infrastruktur, som alltid ska vara tillförlitligt.

Om/när det uppstÃ¥r ett strömavbrott hos oss i framtiden – dÃ¥ kommer vi garanterat att vara säkra.

Till sist, här är några bilder från vårt elarbete:

Omkoppling i elskåp

Omkoppling i elskåp

Närbild av ett elskåp

Närbild av ett elskåp

Ett elektriskt mätverktyg

Ett elektriskt mätverktyg

VÃ¥rt dieselaggregat

VÃ¥rt dieselaggregat

Dieselaggregatet från sidan

Dieselaggregatet från sidan

Ett öppet elskåp

Ett öppet elskåp

Ingen ström i denna serverhall

Ingen ström i denna serverhall

Ström åter i en serverhall

Ström åter i en serverhall

Trötta tekniker

Trötta tekniker

  • http://www.citynetwork.se/ Johan

    Snyggt!

  • http://www.jonnyelofsson.se Jonny Elofsson

    Härlig och öppen genomgång!

  • andreaspa

    Desktopdatorer i en serverhall…? Varför inte rackmonterat?

    • sulo

      VÃ¥ra egna servrar är främst rackbaserade (och bladbaserade), men vi har en del co-locationkunder med ”traditionella” datorer som servrar hos oss.