CIV:Granty/Sběr a zpracování provozních dat pro vyhledávání systémových anomálií

Z HelpDesk
< CIV:Granty
Verze z 10. 11. 2011, 08:55, kterou vytvořil Borik (diskuse | příspěvky) (→‎Předzpracování a uložení dat)
(rozdíl) ← Starší verze | zobrazit aktuální verzi (rozdíl) | Novější verze → (rozdíl)
Verze k tisku již není podporovaná a může obsahovat chyby s vykreslováním. Aktualizujte si prosím záložky ve svém prohlížeči a použijte prosím zabudovanou funkci prohlížeče pro tisknutí.
Sběr a zpracování provozních dat pro vyhledávání systémových anomálií
Základní údaje
Agentura Fond Rozvoje CESNET, z.s.p.o
Evidenční číslo 323/2009
Stav závěrečná zpráva přijata
Lidé
Řešitel Ing. Jiří Bořík
Spoluřešitel Ing. Luboš Kejzlar
Termíny
Začátek 2.2.2010
Konec 2.2.2011

Obsah projektu

Projekt řeší sběr, předzpracování, uložení a zobrazování různých provozních a systémových dat z heterogenního výpočetního prostředí. Získaná data jsou určena pro vyhledávání anomálií a optimalizaci ICT služeb.

Komponenty řešení

Data.png

Zdroje provozních dat

Veškeré veličiny, které souvisejí s provozem informačního systému a které obsahují informaci o obvyklém/neobvyklém stavu systému. Například:

  • Linux - základní výkonové údaje (load, traffic, mail queue…)
  • Windows - NSClient++ (Nagios klient)
  • Kerberos - počty přihlášení k jednotlivým strojům
  • Webové servery – počty přístupů k jednotlivým aplikacím
  • Oracle - Automatic Workload Repository (AWR)

Podrobněji viz též seznam datových zdrojů.

Předzpracování a uložení dat

Předzpracování dat: agregace, normalizace, identifikace zdroje, kategorizace údaje... Příklad vzorku dat viz obrázek.

Uložení v SQL databázi (MySQL).

Statistické zpracování

Metoda detekuje okrajové hodnoty provozních veličin pomocí průměru a směrodatné odchylky historických vzorků. Při výpočtu je odstraněna denní a týdení periodická složka.

Normalni rozdeleni.png

Vizualizace

Je použito plošné zobrazení hodnot s využitím barvy jako třetího rozměru. Data v plose.png

Podrobnější popis řešení je zde.

Odkazy a dokumentace

Zdroje provozních informací

Statistické výpočty a metody

Nástroje pro vizualizaci

Související konference v roce 2010

Seznamy konferencí: kdnuggets, ACM Calendar of Events