ja paina enter

Disec  >  Ajankohtaista > Artikkelit

Disecin palveluissa ennakoimaton käyttökatko 30.3.2020

Jälkikäteen tehty lisäys: Tämän Disecin historiassa hyvin poikkeavan käyttökatkon jälkeen olemme ottaneet useita askelia joilla varmistamme että tällainen vikatilanne ei enää koskaan pysty toistumaan. Samalla otimme myös muutaman ”lisäaskeleen” varmistamaan entisestäänkin erinomaisen hyvää track-recordin omaavaa palvelutuotantoamme. Toisin kuin moni muu verkkopalveluja tarjoava yritys, päätimme jättää tämän uutisen sivuillemme näkyviin vaikka moni muu taho jättää ne joko kokonaan ilmoittamatta julkisesti ja/tai poistaa ilmoitukset extraneteistäänkin heti kun pöly on laskeutunut. Teemme näin sen takia että:

  • Tämän kaltaisia käyttökatkoja ei ole sattunut muita palvelussamme yli kymmeneen vuoteen
  • Käyttökatkojen ”lakaiseminen pois näkyviltä maton alle” ei ole arvojemme mukaista toimintaa
  • Näistä käyttökatkoksista kertominen lisää läpinäkyvyyttä palveluiden tarjoamiseen ja käyttövarmuuteen liittyen
  • Haluamme viestiä että otamme erittäin vakavasti kaikki isot ja pienet käyttökatkot ja että olemme tehneet, teemme ja tulemme tekemään paljon työtä että tällaisia käyttökatkoja ei koskaan pääsisi tapahtumaan
  • Pyrimme oppimaan jatkuvasti myös virheistämme sekä toimimaan paremmin ennakoiden jatkossa
  • Emme ole ikävä kyllä ole täydellisiä toiminnassamme mutta tavoittelemme 100% käytettävyyttä tosissamme ja satsaamme siihen paljon

Alkuperäinen uutinen alkaa tästä: Disecin puolesta pahoittelemme eilistä palveluiden käyttökatkosta ja toivomme että selvisitte tästä Disecin mittakaavassa ennennäkemättömän kokoisesta katkoksesta vähin vaurion. Olemme käyneet läpi eilisen tilanteen ja ryhtyneet toimenpiteisiin, jotta tällaista käyttökatkoa ei enää pääse tapahtumaan.



Kertauksena maanantain 30.3.2020 tapahtumat:

  • 11:45-12:02 paikallisen sähkönjakelijan ESE Oy:n verkkoon tullut maakaapelivika katkaisi sähkönsaannin Mikkelin keskustan läheisyydessä. Konesaliemme varavirtajärjestelmä (UPSit sekä varavirtalaitteisto) toimi kuten piti ja palvelumme toimivat normaalisti katkoksen yli varavirralla. 
  • 14:05 Konesalit pimenivät, kun varavirtajärjestelmän UPSien akuista loppuivat virrat. Konesalien UPSit olivat jääneet akkujen varaan, koska valitettavasti konesalin varavirtajärjestelmässä oli yksi vioittunut osa. Kyseinen osa määrittää, onko käytössä verkkovirta vai varavirta. Vioittuneen osan takia konesalit eivät siirtyneet takaisin verkkovirtaan ESE Oy:n häiriötilanteen päätyttyä. Konesalit pysyivät sähköissä noin 2 tuntia, kunnes varavirta-UPSien akut tyhjenivät. 
  • 16:30 Vika saatiin paikannettua eli ongelmana oli konesalin varavoimakoneen kontaktori. Korjaaja ja varaosat lähtivät tulemaan kohti Mikkeliä Jyväskylästä. 
  • 19:00 Korjaaja saapui Mikkeliin ja korjaustyöt sähköjen palauttamiseksi alkoivat.
  • 19:35 Konesaleihin saatiin sähköt ja palveluita ryhdyttiin ajamaan ylös. 
  • 20:30 Suurin osa Disecin palveluista on saatu ajettua takaisin ylös (terveydenhuollon kuvantamisen palvelut, museot, osa arkistoista)
  • 11.00, tiistaina 31.3.2020 Kaikki Disecin palvelut saatu palautettua käyttöön (loputkin arkistot)


Ongelman korjaamisaikaa pidensi omalta osaltaan koronavirus-epidemiasta johtuva etätyöskentely, joka hidasti ongelman kartoittamista. Se ei kuitenkaan aiheuttanut ongelmaa, vaan varsinainen syy löytyy vuosien takaa. Konesalien rakentamisen ja varustamisen aikaan vuosina 2004-2005 varavirtajärjestelmään on jäänyt kriittinen Single-Point-of-Failure -kohta ja se petti maanatain sähkökatkon jälkeen.



Toistan vielä, että olemme ryhtyneet toimiin, että tämänkaltainen vika ei enää jatkossa vaikuta Disecin palveluiden toimintaan. 



Lisätietoja
Aki Lassila, toimitusjohtaja
040 086 9955
aki.lassila(at)disec.fi