LPS:Letní odstávka

Z HelpDesk

Zde by měl postupně vykrystalizovat seznam všeho, co budem dělat o velke profylaxi v létě.

Termín:
Út 18.8.2015 až Ne 23.8.2015 z rozhodnutí 2K/2015

Komu dát vědět:

  • CESNET e-mailem na support@cesnet.cz a to z důvodu:
    • MetaCentrum - clustery KKY v UI420b, vše co se týká UL011, licenční servery, AFS, kerberos, ...
    • Datové úložiště - vše ohledně UL011: konektivita, chlad, elektrika
    • Konektivita pro ostatni subjekty

Podmínky:
Datovou síť používanou pro interní telefony odstavovat v pracovní době jen na nezbytně nutnou dobu.

Vysvětlivky:

  • červěně (red): To co MUSÍ (kontrolovaně, z nějakéh důvodu) fungovat = klíčový provoz ZČU
  • oranžově (orange): Důsledek prací -> tedy to co nepůjde
  • zeleně (green): Pro úspěch provedené práce je vyžadováno
  • šedě (gray): Odloženo na menší profylaxi
  • tlustě (b): Práce nelze přesunout, protože je na to nasmlouvána externí firma nebo jsou k tomu jiné důvody, jako oznámení zákazníkům
  • přeškrnuto (s): Práce je úspěšně dokončena


Akce na celou odstávku

  • Problematika zajištění provozu klíčových služeb ZČU (to co musí chodit)
    • Spisová služba: Je nutno zajistit provoz mezi 7-9hod ranní, kdy se přebírá pošta. Závisí na: síti, eris.zcu.cz, webauth, LDAP, db ESPIS, ESPISTST. Kontakt: S. Brož
    • IP telefonie: Standard. Kontakt: L.Šmíd
    • Menza (iskam) - v době odstávky je uzavřena, ale beží koleje, neplánované mimořádnosti ovlivňující iskam dát vědět, kontakt: S. Brož.

Pondělí 17.8.2015

  • V pondělí není odstávka! Je to určeno pro přípravu.

Úterý 18.7.2015

PIS

  • celý den upgrade magionu a stagu, bezpečnostní patche, potřebuji funkční FC, DB servery pelops, atreus, nioba, thyia2, tantalos, amphyction, amphyction2, dbvske, dbmvso, dbvsss, síťové připojení [x3dw]

KPS

  • (12:00-13:00): Šmrha: Test výpadku primárního a sekundárního připojení PAMAN do CESNETu
    • vyřešení RT#181923
    • Dopady: Pokud vše půjde podle očekávání, tak jen 2 až 3 krátkodobé výpadky (po cca 3 minutách) celé konektivity PAMAN do CESNETu/Internetu
  • (13:00 - 13:30) Kostenec: Upgrade VSS na IOS 15.2 (long term support)
    • vyřešení RT#208218
    • Dopady: výpadek zařízení přímo připojených do VSS pokud nejsou připojeny duálně, krátkodobý výpadek části metropolitní sítě (konvergence OSPF)
  • Nasazení FW
    • fyzické připojení do sítě, nastavení LAG, nastavení OSPF, redistribuce testovací sítě
    • pokud to vyjde nastavení pro management switchů
    • Dopad: nic

ODS

  • nove VoIP servery, alespoň částečně [Popo, List] Přesunuto na jindy.
  • vymena zeleza u serveru: (v uvedenem poradi podle toho co se stihne) [Ali]
  1. perseus (bude presunuto na virtual, chysta se upgrade aplikace takze mozna akci odsunem na pozdeji)
  2. adrasteia (kdyz bude chut, jde o jeden z nejstarsich serveru ...)
  • upgrade RADIUS serverů na 3.0.9 -> aktualizace nastavení všech klientů [Paja]
    • nelze se prihlasit do WiFi site
    • důsledek: nutná výměna (zaškrtnutí) nového certifikátu u klientů => Změna konfigurace:
      • Není nutné stahovat cerifikát ZČU stačí použít vestavěný "DigiCert Assured ID Root CA"
      • pokud máte vyjmenované servery je nutné použít radius.zcu.cz radius2.zcu.cz
      • Adndroidy a linuxy si musí certifikát stáhnou (můžou i z crl.zcu.cz přes zcu-mobile)

Středa 19.8.2015

PIS

  • celý den upgrade magionu a stagu, potřebuji funkční FC, DB servery pelops, atreus, amphy a amphy2, síťové připojení

KPS

  • Vytvoření pravidel pro přímo připojené sítě (samostatný VDOM)[Marťas]
    • migraci možno dělat postupně
    • Dopad: postupně všechny přímo připojené/routované sítě (embed-dev, rek, serv vlan 600-610), prakticky všechny servery za FW ASA, management serveru, IP pro FC
    • provést kvůli dostupnosti RDKD po 15hod

ISS

  • upgrade KDC serverů na verzi 1.11.2 [Paja]

ODS

  • upgrady stroju lenny -> squeeze -> wheezy -> jessie
  • webkdc[123] [List]
    • napred musi jit klienti [Indy/Paja]

Čtvrtek 20.8.2015

ODS

  • přidání DB serverů do CFEngine oracle skupiny, viz services/oracle/conf.cf [List, x3dw/Jirouch]
  • upgrady virtualu squeeze -> wheezy -> jessie[List]
  • novy eryx [List, Vojta Balak]
  • upgrade xen1, xen2 (pozor na windows dle RT#212170) a polyxen na jessie [List]
    • polyxenu pridat etherchannel [domluvit se s KPS]
    • RDKD odsunout na jine xen servery nebo udelat az po 15hod

KPS

  • Kostenec: Připojení serveru polyxen na etherchannel
    • vyřešení RT#181923
    • provest v průběhu upgrade serveru (nutný reboot) serveru polyxen, domluvit se s Listem
    • Dopady: krátkodobý výpadek serveru polyxen, který hostuje outsourcované stagy
  • Petrovič/Staněk/Šmíd: přepojení optických tras IC-KTS, IC-UM a IC-REK a zároveň předání od Sitelu nového rozvaděče na REK
    • Dopady: krátká ztráta připojení budov REK+UM (je to nahlášené a celý týden by tam skoro nikdo neměl být) a KTS
  • Petrovič/Staněk: přepojení optických tras pro budovu FUD a RTI
    • Dopady: krátká ztráta připojení budov FUD a RTI
  • Vytvoření pravidel pro VRF sítě (samostatný VDOM)
    • migraci možno dělat postupně
    • Dopad: VRF VoIP, SRVmng, Telem, MENZA, JIS

PIS

  • Migrace Courseware (zrušení WPS) [carney/aragorn/konzerva]
    • funkční FC
    • DB STAGu
    • síťové připojení
  • upgrade INISu na zeus-web [Šašek, Jiří Stöhr stohr@ders.cz]
    • DB na atreus, dostupnost zeus-web

Pátek 21.8.2015

KPS

  • Kostenec: Přečíslování FEX podle čísel racků (jediné rozumné řešení), UI420 a NTIS
    • vyřešení RT#193143
    • Dopady: pravděpodobně výpadek všech serverů na FEX pokud nejsou připojeny duálně

ODS

  • přehodit napájení pro FC-SAS bridge v UL008, tak aby se uvolnila PDU lišta, hrozí výpadek FC infrastruktury
    • udělat v době výpadku konektivity, domluvit se sitari, předběžně dopoledne od 9hod
    • ohroženo vše na FC: AFS, virtualy, DB, ...
  • ladění chyb z nagiosu
  • rozhodit rovnomerne virtualy pres vsechny xeny (ulevit xen3, xen4) [List]

Sobota, neděle

Pouze jako rezerva, snaha je udělat vše v průběhu pracovního týdne. Odstávka je vyhlášená i na víkend, možno využít.

Seznam nezařazených prací aneb možno provést kdykoliv

KPS

  • Kostenec: Přepojení serverů připojených přímo na N5k přes 1GE SFP-T na FEXy
    • Dopady: krátkodobý výpadek přepojovaných serverů
  • Přepojení optik na VSS tak, aby výpadek jednoho šasi ovlivnil co nejméně služeb
    • větší využití 40g karty, příprava na připojení border FW, příprava na připojení L3 FW
    • Dopady: krátkodobý výpadek části kampus a metropolitní sítě (konvergence OSPF)
  • Sjednocení MTU na páteři
    • Nejmenší hodnotu má VSS4500X 9170 B
    • Nastavit jak na SVI interface Vlan tak i na fyzických portech
    • Odstranit ip ospf mtu-ignore (pokud ještě někde je)
    • Dopady: krátkodobé výpadky částí sítě (konvergence OSPF)
  • Staněk: Spanning Tree primary a secondary root na páteřních přepínačích/směrovačích
    • Na páteřních linkách nastavit primary a secondary root, primary root je blíže k IC
    • Na lokálních VLAN nastavit primary root
    • Dopady: krátkodobé výpadky konektivity v dané lokalitě (konvergence STP)
  • Staněk: Rozdělení VTP domény WEBnet-Campus
    • Vytvoření nových VTP domén pro NTIS a FEL, případně i VTP
    • Dopady: nic

PIS-DBA

  • Prehodit na vsech oraclich DB mailing z metody "prez smtp" na metodu "prez localhost" - X3
  • Mozna prace/spoluprace s malym Pajou na odlejvani logu z novych Radiusu do Oracle. Prehozeni SMP DB na samostatny virtual?

WIN skupina

Funkční síť, disková pole
* Přidání disku pro zálohování všem VM

  • Nastavení zálohování na VM i fyzických strojích

* Záloha srv. a VM * Update srv.

    • Odin, ... z win srv 2008 na 2012R2 ?
    • Nová Valhalla ?
    • iskam-web ???

* Zrušení strojů:

    • apollon-old
    • perseus-old
    • nnm ???

* Dokončení stěhování VM na xenech (https://rt.zcu.cz/rt/Ticket/Display.html?id=212170)

* Windows Update na všech strojích, reboot

  • Aktualizace stanic -WSUS

Kdokoliv

  • čistka v lednicích RC a jednotlivých patrech [volná síla]
  • úklid a vyházení nepotřebných věcí od Sněhurky [volná síla]
  • deratizace poliček pod barem [volná síla]
  • RC: koutek okolo dřezu udělat omyvatelný (dlaždice / tapeta / nater ?)

Rušené služby, servery

  • Vystěhovat páskového robota ze serverovny
  • rušené servery:
    • hippod, použít jako náhradu za lamii (Petrovič) [List]
    • lpd (copycentrum) [Obal/fous]
    • ifontes pokud se nikdo neozval, že jej potřebuje, od 14.7.2015 je vypnutý, záloha v kraken:/mnt/data3/ [List/fous]
    • demeter2 [fous]
    • oraxen2 [fous]
    • medical.fav [fous]
    • volupta2 [fous]
    • rt-old [fous]
    • selene [fous]
    • callme [fous]
    • gmon-old [fous]
    • webtest [fous]
    • paskos [fous]
    • marae [fous]
    • gauth(fyzický stroj UL011) [paja]

Poznámky do příštího plánu

  • udělat na závěr komplexní a nezávislé testy aplikací a služeb (SUP, SIS)
  • zásahy do sítě dělat nejlépe jen v úterý
  • upravit formulace o dostupnosti služeb (výpadky telefonie)
  • chybí nám v některých případech jednoznačné určení správce služby (kdo dokáže ověřit chod, plánovat odstávku, kontaktovat servisní firmu, informovat "své" uživatele...)