Tre HPE-rackservere udgør ikke i sig selv en robust Proxmox-klynge. Målet kan først efterprøves, når der efter et nodesvigt er tilstrækkelig regnekraft, hukommelse, tilgængelige VM-data, netværk og strømveje tilbage. Eksemplet viser beslutningerne for en Proxmox VE-klynge med tre HPE ProLiant DL360 Gen11.
Artiklen beskriver en hypotetisk dimensioneringsprofil, ikke et færdigt HPE-bestillingsnummer. Per node antages en CPU med 24 kerner, 256 GiB ECC-RAM, spejlede bootmedier, fire enterprise-SAS-SSD’er på hver 3,84 TB til VM-data, to redundante strømforsyninger og passende 25-Gbit-netforbindelser. HPE tilbyder DL360 Gen11 med muligheder for CPU, DIMM, drev, netværk og strømforsyning. Om netop kombinationen af CPU, backplane, HBA/JBOD-drift, SSD-type, blæsere, NIC, kabler og firmware er godkendt, kræver en stykliste- og kompatibilitetskontrol bekræftet af HPE-partneren. Ceph-OSD-diske må ikke skjules bag et uegnet hardware-RAID.
Rækker reserven efter en værtsfejl?
Tre noder giver brutto 72 fysiske CPU-kerner og 768 GiB RAM. Svigter én, er der 48 kerner og 512 GiB tilbage. I eksemplet reserverer vi på hver resterende vært fire kerner og 32 GiB til Proxmox, Ceph og driftsspidser. Til VM’er er der dermed beregningsmæssigt 40 kerneækvivalenter og 448 GiB RAMtilbage. En målt spidsbelastning på 28 kerneækvivalenter og 300 GiB VM-RAM ville i modellen efterlade 12 kerneækvivalenter og 148 GiB buffer. Antallet af vCPU’er er ikke i sig selv en måling: CPU steal, NUMA, I/O, RAM-forbrug og placering af store enkelt-VM’er skal måles i piloten. Genstartstid og programmernes prioritet indgår også i godkendelsen.
For pålideligt quorum i HA-drift kræver Proxmox mindst tre stemmer. Med tre ligeværdige noder efterlader svigt af én to stemmer og dermed flertal. Det garanterer endnu ikke VM-genstart: data skal være tilgængelige, målværten skal have ressourcer, og HA-reglerne skal passe. Corosync kræver stabil lav latenstid og en uafhængig anden vej. En defekt fælles switch eller fælles PDU ophæver den tilsigtede værtsredundans.
Lokale SSD’er: hvilke data er tilgængelige efter en fejl?
I dette eksempel danner de tolv lokale data-SSD’er en Ceph-pool med tre kopier og værten som fejldomæne. Råkapaciteten er 3 × 4 × 3,84 = 46,08 TB . Tre kopier reducerer den teoretiske brugbare kapacitet før metadata og reserver til 15,36 TB. Med en udelukkende til planlægning fastsat øvre grænse på 70% bliver arbejdsværdien cirka 10,75 TB. Det er ikke en garanteret Ceph-kapacitet: OSD-fyldning, fordeling, recovery, snapshots og faktiske datamønstre skal måles.
Hvis en af de tre værter svigter, kan de to resterende kopier fortsat håndtere I/O under en passende konfigureret min_size-regel; poolen er da degraderet. En tredje kopi på et tredje værtsfejldomæne kan først genskabes, når noden vender tilbage eller erstattes. Det er en begrænsning ved præcis tre noder. Ceph-replikering erstatter heller ikke en separat backup. En Proxmox Backup Server hører uden for disse tre værter i eget fejldomæne, med afprøvet gendannelse og yderligere ekstern kopi. DAXS-artiklen Proxmox Backup Server: verificering, opbevaring og gendannelse uddyber gendannelsestesten.
Netværk og strøm som del af arkitekturen
Båndbredde og lav latenstid er vigtige for Ceph; til en ny klynge planlægger vi separate, redundant tilsluttede 25-Gbit-veje som efterprøvbar udgangsantagelse. Den nødvendige hastighed følger af skrivebelastning, replikeringstrafik og måltid for recovery, ikke af portantallet i databladet. Corosync skal løbe over uafhængige fysiske veje; administration og VM-trafik adskilles eller begrænses ordentligt. Den konkrete VLAN-, switch- og NIC-tilknytning dokumenteres i en portplan.
To strømforsyninger hjælper kun, når de er på separate strømveje. DAXS ville lade strømforsyning A på hver vært forbinde til PDU/UPS A og B til PDU/UPS B, kontrollere forbruget under belastning og teste svigt af en vej. iLO-administration, reserve-SSD’er, firmwarepleje og vedligeholdelsesvinduer er yderligere driftsposter. Tre servere i samme rack beskytter ikke mod fejl i hele rummet.
Åben tre- og femårsberegning
Lad et aktuelt bekræftet HPE-tilbud for den fuldt udstyrede node være h euro, det redundante netværk med optik n, og en selvstændig backupserver med medier k. HPE-service og reservedele koster i modellen s euro årligt, strøm og housing e euro årligt. Disse tilbudsværdier opfindes ikke. Proxmox’ offentliggjorte listepriser er 550 € årligt per besat VE-sokkel og 2.240 € for en PBS Standard-server: her 3 × 550 + 2.240 = 3.890 € om året. Hypotetisk antages én gang 80 timer à 90 € (7.200 €) til opbygning, test og overdragelse; årligt 50 timer à 90 € (4.500 €) til drift.
| Post | 3 år | 5 år |
|---|---|---|
| Noder, netværk, backuphardware | 3h + n + k | 3h + n + k |
| Engangsopbygning | 7.200 € | 7.200 € |
| VE/PBS + drift årligt | 3 × (3.890 + 4.500 + s + e) | 5 × (3.890 + 4.500 + s + e) |
| I alt | 3h + n + k + 32.370 + 3s + 3e € | 3h + n + k + 49.150 + 5s + 5e € |
Følsomheden ses direkte: 1.000 € mere per node øger begge tidshorisonter med 3.000 €; 1.000 € mere i årlig HPE-service med henholdsvis 3.000 og 5.000 €. Skal hver vært have en anden besat CPU, tilkommer alene i abonnementer 1.650 € årligt på samme Proxmox Standard-niveau, plus hardware, RAM og energi. Beregningen omfatter ikke VMware-migration, et andet backupsted eller prisstigninger; disse poster skal tilføjes i den konkrete beslutning.
DAXS undersøger først belastningsspidser og fejlmål, dernæst godkendt HPE-stykliste, port- og strømplan, Ceph- og backupgendannelse samt komplette tilbud. For sådan en klyngeplan i jeres miljø kan I bruge Kontakt til at starte dialogen.
Kilder: HPE ProLiant DL360 Gen11 QuickSpecs · Proxmox VE Administration Guide: klynge, HA og Ceph · Ceph: antal kopier og min_size · Proxmox VE: abonnementspriser · Proxmox Backup Server: priser.
