Výpočty a velká data

Z HelpDesk

Tato stránka je rozcestník pro řešení výpočetně a kapacitně náročného zpracování a ukládání dat pro účely výzkumu a výuky. Pro základní orientaci slouží níže uvedené tabulky, v případě potřeby konzultace nás prosím kontaktujte přes HelpDesk.

Výpočetní kapacity (MetaCentrum)

V rámci těchto služeb lze přistupovat k široké škále akademických výpočetních zdrojů v ČR. Všechny služby poskytují výpočetní HW (CPU i GPU) a k dispozici je odpovídající uživatelská podpora. Využívání je zdarma za účelem výuky a výzkumu, deklarací publikací s poděkováním lze získat prioritu. Na zdroje vlastněné součástmi ZČU je pak možný prioritní přístup pro studenty a zaměstnance ZČU.

Služba Doporučené použití Popis vlastností Dokumentace
Výpočetní grid Výpočetní prostředí s dávkovým zpracováním. Prostředí výpočetních clusterů, zadávání výpočtů formou úloh s možností využít rozsáhlého souboru instalovaného SW. Součástí služby jsou operativní úložiště dat v rozsahu jednotek TB. Lze spouštět výpočty v kontejnerech. Všichni studenti a zaměstnanci mají prioritní přístup na cluster Alfrid přes frontu ZCU Je třeba nejprve podat [přihlášku] pomocí ZČU identity, základní dokumentace je na https://docs.metacentrum.cz/
Výpočetní cloud Cloudové (virtuální stroje) a Kubernetes prostředí určené k náročným výpočtům. Možnost získání virtuálních strojů s vysokým výpočetním výkonem. Virtuální stroje mohou být propojeny s úložišti (streaming dat, edge computing, IoT, atd.) https://metavo.metacentrum.cz/
Interaktivní aplikace a výpočetní portály Přímý přístup k interaktivním aplikacím přes GUI (Matlab, Fluent, atd.), Jupyter notebooks, portály (Galaxy), workflow nástroje. Připravené instantní aplikace či prostředí. Tématické služby pro konkrétní použití. Nástroje pro práci s daty (Hadoop, Spark). https://metavo.metacentrum.cz/ https://ondemand.grid.cesnet.cz/
Infrastruktura ELIXIR Česká infrastruktura pro biologická data. Samostatná infrastruktura pro práci s daty v v oblasti věd o živé přírodě zaměřená na biologická data. https://www.elixir-czech.cz/

Úložné kapacity CESNET

Služba Doporučené použití Popis vlastností Dokumentace
FileSender Dočasné zpřístupnění/předání dat Webová služba sloužící pro rychlé odeslání velkých souborů jednomu nebo více příjemcům. Proti komerčním řešením je výhodou vyšší rychlost, kapacita a fakt, že data neopustí akademické prostředí. Pro odeslání souboru je potřeba mít platný účet některé instituce, případně pokud odesílatel nemá identitu ve federaci eduID.cz, potřebuje tzv. pozvánku, kterou mu může odeslat přihlášený uživatel. Přijmout soubor může kdokoliv, kdo zná odkaz pro stažení souboru. https://du.cesnet.cz/cs/navody/filesender/
OwnCloud Cloudové úložiště pro ukládání a sdílení dat pro akademickou obec ČR Podobné řešení jako je Alfresco, doporučujeme používat pro sdílení mimo ZČU a pro větší data související s výzkumem a výukou. Dovoluje on-line editaci dokumentů a synchronizaci mezi zařízeními. Typický limit 100 GB na uživatele.

https://du.cesnet.cz/cs/navody/owncloud

Zálohování dat Zálohování výzkumných a výukových dat. Řešení pro vytváření záložní nebo dokonce archivní kopie výzkumných a výukových dat. https://www.cesnet.cz/sluzby/datova-uloziste/
Ukládání a sdílení dat Obecné úložiště dat určené pro vzdělávací a výzkumné účely. Hierarchická datová úložiště jsou postupně nahrazována objektovými úložišti se základním přístupem přes S3 či blokové zařízení. Přidělení základního prostoru 2 TB může být významně rozšířeno na základě popisu konkrétního účelu, lze očekávat prostor v rozsahu desítek TB. https://du.cesnet.cz/cs/navody/object_storage/
Videoarchiv Uložení multimediálních dat a jejich vystavení prostřednictvím streamovacích serverů. Backend pro vytváření multimediálních aplikací, nahrávek přednášek a akcí a další použití. https://www.cesnet.cz/sluzby/videoarchiv/

Specifické situace a jejich řešení

  • Tématické služby pro vědecké komunity a služby provozované pro mezinárodní spolupráci EOSC Marketplace
  • Začlenění vybavení pořízeného z projektu do centrální správy (MetaCentrum), pomoc s výpočetním SW, licencemi a optimalizací vědeckého workflow. Kontaktujte nás přes HelpDesk.
  • Datové repozitáře v rámci open science, zpracování data management plánu, pomoc s publikací dat. openscience.zcu.cz

Další služby

Citováno z „https://helpdesk.zcu.cz/index.php?title=Výpočty_a_velká_data&oldid=65934“