LPS:Disková pole/MetroCluster old
Shrnutí
Toto je dokumentace k storage systému implementovaném na Západočeské univerzitě. Cílem tohoto dokumentu je popsat implementaci a zapojení diskového systému fy IBM plus příslušnou SAN infrastrukturu. Zahrnut je i popis základních úkonů a popis chování clusteru v různých situacích.
Prostředí je se sestává ze 2 lokalit – serverovna UI420 a UL008. V každé z lokalit je instalován jeden řadič pole IBM n6240, které dohromady tvoří Stretch Metrocluster (diskový systém rozprostřený přes dvě lokality). Systém obsahuje dva řadiče fungující v režimu clusteru – tzn. v případě výpadku jednoho z řadičů jeho funkci přebírá (transparentně pro klienty) partnerský řadič. Redundance je navíc zvýšena o replikaci diskových boxů mezi 2 lokalitami, takže systém je schopen fungovat nejen při výpadku řadiče, ale i diskového boxu v libovolné lokalitě.
Základní informace
Hardware
Informace o řadičích
Následující tabulka uvádí základní informace o řadičích polí.
Tabulka 1 - Device Details
| Řadič | Hardware Platform | Serial No. | System ID | Data ONTAP® Version | Umístění |
|---|---|---|---|---|---|
| fc-p1-a | n6240 HA | 2858E2113A623622 | 1574594286 | 8.1RC2 | I420 |
| fc-p1-b | n6240 HA | 2858E2113A623611 | 1574564369 | 8.1RC2 | UL008 |
Kapacita
Následující tabulka uvádní počty disků přiřazených, alokovaných a "spare". Přiřazené disky jsou disky vlastněné daným řadičem. Alokované disky jsou disky použité v agregátech (obsahují data). "Spare" disky jsou disky použitelné v případě výpadku některého z alokovaných disků pro rekonstrukci RAID.
Hrubá kapacita je celková hrubá kapacita získaná vynásobením hrubé capacity jednoho disku daného typu počtem přiřazených disků.
Tabulka 2 - Kapacita
| Řadič | Přiřazené disky | Alokované disky | Spare disky | Velikost disku | Hrubá kapacita |
|---|---|---|---|---|---|
| fc-p1-a | 56 | 54 | 2 | 600FC15K | 33600 GB |
| fc-p1-a | 56 | 54 | 2 | 2000ATA | 112000 GB |
| fc-p1-b | 56 | 54 | 2 | 600FC15K | 33600 GB |
| fc-p1-b | 14 | 13 | 1 | 2000ATA | 28000 GB |
Poznámka: Hrubá kapacita NENÍ rovna použitelné kapacitě!!!
Rozložení v racku
Zapojení diskových polic do portů řadičů a propojení lokalit
Tabulka 3 - Zapojení portů
| Řadič | port | lokální disková police | port v patchpanelu | vzdálená disková police |
|---|---|---|---|---|
| fc-p1-a | 5a | N/A | U42:9-10 | UL008 EXN1000 ID2 dolní levý |
| fc-p1-a | 5b | UI420 EXN1000 ID3 horní levý | N/A | N/A |
| fc-p1-a | 5c | N/A | U42:5-6 | UL008 EXN4000 ID1 dolní levý |
| fc-p1-a | 5d | UI420 EXN4000 ID4 horní pravý | N/A | N/A |
| fc-p1-a | 6a | N/A | U41:9-10 | UL008 EXN1000 ID1 horní levý |
| fc-p1-a | 6b | UI420 EXN1000 ID1 dolní pravý | N/A | N/A |
| fc-p1-a | 6c | N/A | U41:5-6 | UL008 EXN4000 ID4 horní levý |
| fc-p1-a | 6d | UI420 EXN4000 ID1 dolní levý | N/A | N/A |
| fc-p1-b | 5a | N/A | U42:7-8 | UI420 EXN1000 ID1 horní pravý |
| fc-p1-b | 5b | UL008 EXN1000 ID2 horní pravý | N/A | N/A |
| fc-p1-b | 5c | N/A | U42:3-4 | UI420 EXN4000 ID4 dolní pravý |
| fc-p1-b | 5d | UL008 EXN4000 ID4 dolní pravý | N/A | N/A |
| fc-p1-b | 6a | N/A | U41:7-8 | UI420 EXN1000 ID3 dolní levý |
| fc-p1-b | 6b | UL008 EXN1000 ID1 dolní pravý | N/A | N/A |
| fc-p1-b | 6c | N/A | U41:3-4 | UI420 EXN4000 ID1 horní levý |
| fc-p1-b | 6d | UL008 EXN4000 ID1 horní pravý | N/A | N/A |
Tabulka 4 - Propojení cluster interconnectu
| Řadič | port | port v patchpanelu |
|---|---|---|
| fc-p1-a | IC1 | U42:1-2 |
| fc-p1-a | IC2 | U41:1-2 |
| fc-p1-b | IC1 | U42:1-2 |
| fc-p1-b | IC2 | U41:1-2 |
Konfigurace úložiště
Tato sekce popisuje rozdělení úložiště na úrovni agregátů, volume apod.
Agregát
Agregát je tvořen jedním čí více tzv. plexů (skupina disků). Každý plex je dále tvořej jednou či více RAID-Groups, nad kterými je vytvářen RAID. Pokud není agregát zrcadlen, obsahuje pouze jeden plex. Pokud je licencována funkcionalita SyncMirror, může být do každého agregátu přidán další plex, který je následně synchronně zrcadlen se zdrojovým plexem (jako RAID1 mezi 2 plexy). Při vytváření aggregátu Data ONTAP přiřadí datové a paritní disky do daných RAID-groups/plexů na základě zadaných parametrů (velikost RAID-group, úroveň RAIDu, zrcadlení apod.) Agregát tvoří jeden logický celek – souvislý prostor, který může být dále spravován/dělen. Pro zvýšení použitelného místa v agregátu do něj lze přidat disky (do stávající či nové RAID-group). Nicméně disk do agregátu jednou přidaný nemůže být odebrán bez zničení celého agregátu. Pro další informace o agregátech a jejich správě doporučujeme dokumentaci výrobce Data ONTAP 8.1RC2 Storage Management Guide, http://now.netapp.com/NOW/knowledge/docs/ontap/rel81rc2/pdfs/ontap/smg.pdf
Veškeré agregáty jsou nakonfigurovány následovně:
aggr create <aggr_name> [-m] –r <raid_size> –t <raid_type> <total # disks> snap reserve –A <aggr_name> <snap_reserve_pct>
Následující tabulka shrnuje informace o agregátech. Tabulka 5 - Aggregate configuration.
| Řadič | Agregát | RAID Type | RAID Type | Typ disků | Zrcadleno | Velikost RAID Group | Snap Reserve | Použitelná kapacita |
|---|---|---|---|---|---|---|---|---|
| fc-p1-a | aggr0 | RAID-DP | 54 | 600FC15K | ANO | 28 | 5% | 11689 GiB |
| fc-p1-a | aggr_sata | RAID-DP | 28 | 2000ATA | NE | 14 | 0% | 35763 GiB |
| fc-p1-a | aggr_sata_mirror | RAID-DP | 9 | 2000ATA | ANO | 16 | 5% | 15571 GiB |
| fc-p1-b | aggr0 | RAID-DP | 54 | 600FC15K | ANO | 28 | 5% | 11689 GiB |
| fc-p1-b | aggr_sata | RAID-DP | 13 | 2000ATA | NE | 16 | 0% | 16391 GiB |
Volume
Volume je logická jednotka (souborový systém), jehož struktura může být zpřístupněna uživatelům pomocí souborových služeb:
• Pomocí NFS pro UNIXové klienty
• Pomocí CIFS pro klienty s OS Windows
Volume označený vol0 je systémový volume každého řadiče. Na tento volume je ukládána konfigurace a není použit pro uživatelská data.
Veškeré volume (mimo vol0) jsou nakonfigurovány následovně:
vol create <vol_name> <aggregate> <size><unit> vol options <vol_name> [ create_ucode | convert_ucode ] on snap sched <vol_name> <snapshot schedule> snap reserve <vol_name> <snapreserve %>
Následující tabulka shrnuje informace o volumech. Tabulka 6 - Volumes configuration.
| Řadič | Volume | Agregát | Kapacita | Snap Reserve | Použitelná kapacita |
|---|---|---|---|---|---|
| fc-p1-a | vol0 | aggr0 | 120 GB | 0% | 120 GB |
| fc-p1-b | vol0 | aggr0 | 200 GB | 0% | 200 GB |
Propagované diskové prostory
IBM nSeries pole umožňují přístup k datům na souborové (CIFS/NFS) nebo blokové (FC/iSCSI) úrovni. Při použítí souborového přístupu klienti používají souborový systém na úrovni VOLUME (kapitola 3), při blokové úrovni je třeba definovat ještě jednu úroveň navíc. LUN (Logical Unit Number) je z hlediska nSeries pole pouze speciálním typem souboru s příznakem „toto je blokové zařízení“. Je definován na úrovni VOLUME a propagován je pomocí tzv. InterfaceGroups (igroup).
IGroup je skupina identifikátorů (iniciátorů), kterým je povoleno k danému LUN přistupovat. Jsou to buď iniciátory typu WorldWideName (WWN) či WorldWidePortName (WWPN) – v případě FC protokolu – nebo iSCSIQualifiedName (IQN) či EnterpriseUniqueIdentifiers (EUI) v případě iSCSI.
Postup je pak následující:
a) Vytvoření volume
b) Vytvoření LUN v daném volume
c) Vytvoření igroup (FC nebo iSCSI)
d) Namapování daného LUN patříčné igroup
Konfigurace LUN
Tabulka 7 - Velikosti a mapování LUN.
| Filer Name | LUN Path | LUN OS Typ | Mapped to iGroup | LUN ID | Size |
|---|---|---|---|---|---|
| fc-p1-a | xxxx | linux | cico | 0 | 10 GB |
| fc-p1-b | xxxx | linux | cico | 1 | 50 GB |
Konfigurace iGroup
Interface group (igroup) jsou vytvářeny následujícím způsobem:
igroup create [-f | -i] –t linux <igroup_name> igroup set <igroup_name> alua yes igroup add <igroup_name> <WWPN1> igroup add <igroup_name> <WWPN2>
...
ALUA příznak umožní klientům automaticky (bez přidání daších nástrojů) určit “kratší” cestu k datům (je rozdíl mezi cestou primo na řadič vlastnící disk a cestou přes partnerský řadič a cluster interconnect – tato cesta by měla být využívána pouze v případě výpadku). Podpora ALUA rozšíření SCSI protokolu je nativně ve většíně moderních OS (včetně GNU Debian Linux 6).
Tabulka 8 - Definice iGroup
| iGroup | typ (FCP/iSCSI) | OS Typ | identifikátor | ALUA |
|---|---|---|---|---|
| cico | FCP | linux | 21:00:00:e0:8b:81:f0:a5
21:00:00:e0:8b:0b:83:52 |
ANO |
Síťová konektivita
Řadiče IBM nSeries mají několik síťových rozhraní. Pro bazální administraci lze použít Service Processor (SP). Jde o samostatnou komponentu (není přímou součástí pole z hlediska OS), která zpřístupní sériovou konzoli přes SSH. Jiný protokol není podporován.Přes toto rozhraní není možné přistupovat k datům ani jej využít pro jiné způsoby managementu (např. OnCommand System Manager).
Další konfigurované rozhraní je e0a – toto rozhraní slouží jak pro management (ssh, OnCommand ...) tak pro data (FTP, HTTP, CIFS, NFS, iSCSI)
Systém je nakonfigurován tak, že v případě výpadku řadiče dojde na rozhraní e0a přeživšího řadiče k vytvoření aliasu s IP rozhraní e0a padlého řadiče (Partner Adresa v tabulce).
Tabulka 9 - Síťová rozhraní
| Řadič | Interface | IP Adresa | Netmask | Partner Adresa | VIF |
|---|---|---|---|---|---|
| fc-p1-a | e0a | 147.228.6.12 | 255.255.255.0 | 147.228.6.10 | N/A |
| fc-p1-a | e0b | N/A | N/A | N/A | N/A |
| fc-p1-a | e0a | N/A | N/A | N/A | N/A |
| fc-p1-a | c0b | N/A | N/A | N/A | N/A |
| fc-p1-a | e0M | N/A | N/A | N/A | N/A |
| fc-p1-a | SP | 147.228.6.11 | 255.255.255.0 | N/A | N/A |
| fc-p1-b | e0a | 147.228.6.10 | 255.255.255.0 | 147.228.6.12 | N/A |
| fc-p1-b | e0b | N/A | N/A | N/A | N/A |
| fc-p1-b | c0a | N/A | N/A | N/A | N/A |
| fc-p1-b | c0b | N/A | N/A | N/A | N/A |
| fc-p1-b | e0M | N/A | N/A | N/A | N/A |
| fc-p1-b | SP | 147.228.6.13 | 255.255.255.0 | N/A | N/A |
FrontEnd SAN
Základní informace
SAN struktura zpřístupňující diskové pole serverům se skládá ze 2 FC switchů Qlogic SANBox 5800.
Switche jsou propojeny mezi sebou pomocí 2 tras (2 E-porty na každém switchi).
Z hlediska FC infrastruktury se oba řadiče dohromady tváří jako jediné zařízení (mají jediné společné WWN) a odlišit je lze pouze pomocí unikátního WWPN každého portu (viz tabulku 8).
Každý LUN je přístupný na všech portech systému (jak na portech řadiče, který daný LUN vlastní, tak na portech partnerského řadiče).
Každý klientský server by měl být zapojen do SAN tak, aby jeho měl přístupné všechny porty obou řadičů (pro případ výpadku řadiče).
Výběr výhodnější cesty k danému LUNu zajišťuje multipathing software na klientovi – pokud systém podporuje rozšíření SCSI protokolu ALUA, není potřeba žádný dodatečný SW.
Zapojení FC portů polí IBM nSeries
Tabulka 10 - Zapojení FC portů
| Řadič | FC Port | Režim | WWN | WWPN | Port ve switchi |
|---|---|---|---|---|---|
| fc-p1-a | 3a | Target | 50:0a:09:80:8d:ba:66:ee | 50:0a:09:81:8d:ba:66:ee | fc-s10 port 9 |
| fc-p1-a | 3b | Target | 50:0a:09:80:8d:ba:66:ee | 50:0a:09:82:8d:ba:66:ee | fc-s11 port 9 |
| fc-p1-a | 4a | Target | 50:0a:09:80:8d:ba:66:ee | 50:0a:09:83:8d:ba:66:ee | fc-s10 port 19 |
| fc-p1-a | 4b | Target | 50:0a:09:80:8d:ba:66:ee | 50:0a:09:84:8d:ba:66:ee | fc-s11 port 19 |
| fc-p1-b | 3a | Target | 50:0a:09:80:8d:ba:66:ee | 50:0a:09:81:9d:ba:66:ee | fc-s20 port 9 |
| fc-p1-b | 3b | Target | 50:0a:09:80:8d:ba:66:ee | 50:0a:09:82:9d:ba:66:ee | fc-s20 port 19 |
| fc-p1-b | 4a | Target | 50:0a:09:80:8d:ba:66:ee | 50:0a:09:83:9d:ba:66:ee | fc-s21 port 9 |
| fc-p1-b | 4b | Target | 50:0a:09:80:8d:ba:66:ee | 50:0a:09:84:9d:ba:66:ee | fc-s21 port 19 |
