Výpočty a velká data
Z HelpDesk
Tato stránka je rozcestník pro řešení výpočetně a kapacitně náročného zpracování a ukládání dat pro účely výzkumu a výuky. Pro základní orientaci slouží níže uvedené tabulky, v případě potřeby konzultace nás prosím kontaktujte přes HelpDesk.
Výpočetní kapacity (MetaCentrum)
V rámci těchto služeb lze přistupovat k široké škále akademických výpočetních zdrojů v ČR. Všechny služby poskytují výpočetní HW (CPU i GPU) a k dispozici je odpovídající uživatelská podpora. Využívání je zdarma za účelem výuky a výzkumu, deklarací publikací s poděkováním lze získat prioritu. Na zdroje vlastněné součástmi ZČU je pak možný prioritní přístup pro studenty a zaměstnance ZČU.
| Služba | Doporučené použití | Popis vlastností | Dokumentace |
|---|---|---|---|
| Výpočetní grid | Výpočetní prostředí s dávkovým zpracováním. | Prostředí výpočetních clusterů, zadávání výpočtů formou úloh s možností využít rozsáhlého souboru instalovaného SW. Součástí služby jsou operativní úložiště dat v rozsahu jednotek TB. Lze spouštět výpočty v kontejnerech. Všichni studenti a zaměstnanci mají prioritní přístup na cluster Alfrid přes frontu ZCU | Je třeba nejprve podat [přihlášku] pomocí ZČU identity, základní dokumentace je na https://docs.metacentrum.cz/ |
| Výpočetní cloud | Cloudové (virtuální stroje) a Kubernetes prostředí určené k náročným výpočtům. | Možnost získání virtuálních strojů s vysokým výpočetním výkonem. Virtuální stroje mohou být propojeny s úložišti (streaming dat, edge computing, IoT, atd.) | https://metavo.metacentrum.cz/ |
| Interaktivní aplikace a výpočetní portály | Přímý přístup k interaktivním aplikacím přes GUI (Matlab, Fluent, atd.), Jupyter notebooks, portály (Galaxy), workflow nástroje. | Připravené instantní aplikace či prostředí. Tématické služby pro konkrétní použití. Nástroje pro práci s daty (Hadoop, Spark). | https://metavo.metacentrum.cz/ https://ondemand.grid.cesnet.cz/ |
| Infrastruktura ELIXIR | Česká infrastruktura pro biologická data. | Samostatná infrastruktura pro práci s daty v v oblasti věd o živé přírodě zaměřená na biologická data. | https://www.elixir-czech.cz/ |
Úložné kapacity CESNET
| Služba | Doporučené použití | Popis vlastností | Dokumentace |
|---|---|---|---|
| FileSender | Dočasné zpřístupnění/předání dat | Webová služba sloužící pro rychlé odeslání velkých souborů jednomu nebo více příjemcům. Proti komerčním řešením je výhodou vyšší rychlost, kapacita a fakt, že data neopustí akademické prostředí. Pro odeslání souboru je potřeba mít platný účet některé instituce, případně pokud odesílatel nemá identitu ve federaci eduID.cz, potřebuje tzv. pozvánku, kterou mu může odeslat přihlášený uživatel. Přijmout soubor může kdokoliv, kdo zná odkaz pro stažení souboru. | https://du.cesnet.cz/cs/navody/filesender/ |
| OwnCloud | Cloudové úložiště pro ukládání a sdílení dat pro akademickou obec ČR | Podobné řešení jako je Alfresco, doporučujeme používat pro sdílení mimo ZČU a pro větší data související s výzkumem a výukou. Dovoluje on-line editaci dokumentů a synchronizaci mezi zařízeními. Typický limit 100 GB na uživatele. | |
| Zálohování dat | Zálohování výzkumných a výukových dat. | Řešení pro vytváření záložní nebo dokonce archivní kopie výzkumných a výukových dat. | https://www.cesnet.cz/sluzby/datova-uloziste/ |
| Ukládání a sdílení dat | Obecné úložiště dat určené pro vzdělávací a výzkumné účely. | Hierarchická datová úložiště jsou postupně nahrazována objektovými úložišti se základním přístupem přes S3 či blokové zařízení. Přidělení základního prostoru 2 TB může být významně rozšířeno na základě popisu konkrétního účelu, lze očekávat prostor v rozsahu desítek TB. | https://du.cesnet.cz/cs/navody/object_storage/ |
| Videoarchiv | Uložení multimediálních dat a jejich vystavení prostřednictvím streamovacích serverů. | Backend pro vytváření multimediálních aplikací, nahrávek přednášek a akcí a další použití. | https://www.cesnet.cz/sluzby/videoarchiv/ |
Specifické situace a jejich řešení
- Tématické služby pro vědecké komunity a služby provozované pro mezinárodní spolupráci EOSC Marketplace
- Začlenění vybavení pořízeného z projektu do centrální správy (MetaCentrum), pomoc s výpočetním SW, licencemi a optimalizací vědeckého workflow. Kontaktujte nás přes HelpDesk.
- Datové repozitáře v rámci open science, zpracování data management plánu, pomoc s publikací dat. openscience.zcu.cz
Další služby
- Obecný popis kam ukládat data Datová_úložiště
- Cloud ZČU Cloudové_služby
- Kubernetes ZČU Kubernetes
- Doporučené technologie pro vzdálenou práci
- Služby veřejných cloudů v kontextu ZČU Google Apps a Microsoft Office 365
- Rozcestník pro Elektronický podpis
- Rozcestník služeb e-infrastruktury CESNET
- Služby v rámci infrastruktury e-infra.cz (navíc zejména služby superpočítačového centra IT4I)
- Licence komerčních produktů: přehled licencí na ZČU software.zcu.cz, licencovaný výpočetní SW MetaCentra, od roku 2024 má ZČU neomezenou celouniverzitní licenci Matlabu.
