LPS:Letní odstávka

Z HelpDesk

Zde by měl postupně vykrystalizovat seznam všeho, co budem dělat o velke profylaxi v létě.

Termín:
Úterý 14.8.2018 od 6:00 až neděle 19.8.2018 do 24:00

Komu dát vědět:

  • CESNET e-mailem na support@cesnet.cz a to z důvodu:
    • MetaCentrum - clustery KKY v UI420b, vše co se týká UL011, licenční servery, AFS, kerberos, ...
    • Datové úložiště - vše ohledně UL011: konektivita, chlad, elektrika
    • Konektivita pro ostatni subjekty

Podmínky:
Datovou síť používanou pro interní telefony odstavovat v pracovní době jen na nezbytně nutnou dobu.

Vysvětlivky:

  • červěně (red): To co MUSÍ (kontrolovaně, z nějakéh důvodu) fungovat = klíčový provoz ZČU
  • oranžově (orange): Důsledek prací -> tedy to co nepůjde
  • zeleně (green): Pro úspěch provedené práce je vyžadováno
  • šedě (gray): Odloženo na menší profylaxi
  • tlustě (b): Práce nelze přesunout, protože je na to nasmlouvána externí firma nebo jsou k tomu jiné důvody, jako oznámení zákazníkům
  • přeškrnuto (s): Práce je úspěšně dokončena

Průběh odstávky je v RT#255944

Akce na celou odstávku

  • Problematika zajištění provozu klíčových služeb ZČU (to co musí chodit)
    • Spisová služba: Je nutno zajistit provoz mezi 7-9hod ranní, kdy se přebírá pošta. Závisí na: síti, eris.zcu.cz, webauth, LDAP, db ESPIS, ESPISTST. Kontakt: S. Brož
    • IP telefonie: Standard. Kontakt: L.Šmíd
    • Menza (iskam) - v době odstávky je uzavřena, ale beží koleje, neplánované mimořádnosti ovlivňující iskam dát vědět, kontakt: S. Brož.

Pondělí 13.8.2018

  • V pondělí není odstávka! Je to čas určený pro přípravu.

Úterý 14.8.2018

14:00 -> ráno: vypnutí sítě v lokalitě, výměna páteřních prvků => nepůjde síť

PIS

  • přesun databází z OCFS2 -> NFS, od půlnoci [List, Petr]
    • DB IS/STAG, Magion a další

KPS

ODS

  • mazani logu na centralnich serverech dle GDPR a CIV vyhlasky (1 rok), provadet v CFE3
  • promazavani /var/log na vsech serverech dle GDPR a CIV vyhlasky (1 rok), provadet v CFE3
  • nasadit novou LTS CFEngine verzi (3.12)
  • vyresit RT#280278 - odebrat FC kartu z nesoi4,5 metalist a laila [List, Fous]


ISS

Středa 15.8.2018

14:00 -> ráno: vypnutí sítě v lokalitě, výměna páteřních prvků => nepůjde síť

PIS

  • přesun databazí z OCFS2 na NFS [Jirouch, List]
    • funkční síť na CIV včetně serverovny, diskové pole
    • databáze STAG, Magion, Aleph a externi STAGy budou nedostupné
  • zaloha a procisteni starych DB dat SMP, bezi uz 5 let a nic se v ni nemaze, odhaduji cca 2h [X3]
    • Nepujde SMP, tj. eduroam
    • Stroj GINA a sit na CIV


KPS

ISS

ODS

  • upgrady stroju squeeze -> wheezy -> jessie -> stretch

Čtvrtek 16.8.2018

14:00 -> ráno: vypnutí sítě v lokalitě, výměna páteřních prvků => nepůjde síť

ODS

  • upgrady stroju jessie -> stretch
    • gauth*: dump mariadb clusteru, upgrade systemu, postavit novy cluster na v10.1 o 3 nodech, nalít zpět data [List, Paja]

KPS

PIS

Pátek 17.8.2018

14:00 -> ráno: vypnutí sítě v lokalitě, výměna páteřních prvků => nepůjde síť

Předběžný konec změn ve 12:00 - následuje kontrola služeb uživateli, koordinace v samostatném RT#XXXXXXX

PIS

ODS

Sobota, neděle

Pouze jako rezerva, snaha je udělat vše v průběhu pracovního týdne. Odstávka je vyhlášená i na víkend, možno využít.

Seznam nezařazených prací aneb možno provést kdykoliv

LPS

KPS

ODS

  • změna přihlašování na support.zcu.cz, tak aby i uživatelé mohli chodit na HTTPS. [List, Majlen]
  • odsun zbylých virtuálů z XEN na KVM (cloud), jak se budou řešit windowsy?
  • poweroff/poweron xen4 ... z duvodu resetu IMM2, který se zablokoval
  • nasazeni icinga.zcu.cz jako hlavni monitoring (nagios uz doziva) [List]

PIS

  • migrace au3v na UTF8
  • upgrade nioby - výměna kus za kus starý HW za nový

Kdokoliv

  • čistka v lednicích RC a jednotlivých patrech [marek & čepi & já]
  • deratizace různých zákoutí RC [marek & čepi & já]

Rušené služby, servery

Servery

Služby

Poznámky do plánu na rok 2018

  • udělat na závěr komplexní a nezávislé testy aplikací a služeb (SUP, SIS), předběžně v pátek od 12:00, synchronizace přes RT#civ
  • upravit formulace o dostupnosti služeb (výpadky telefonie)
  • chybí nám v některých případech jednoznačné určení správce služby (kdo dokáže ověřit chod, plánovat odstávku, kontaktovat servisní firmu, informovat "své" uživatele...)
  • služby, které mají být dostupné nejlépe bez výpadků
    • ISKAM včetně webu a autentizace (zápis studentů na koleje) - výpadky dohodnout se Standou Brožem
    • bázové služby
      • síť
      • AAA služby
      • telefony

Poučení z krizového vývoje anebo poznámky pro rok 2019