langsamer Zugriff auf Cluster Shared Volumes

[mwiederkehr 373]

Hallo zusammen

 

Es besteht ein Cluster für Hyper-V aus vier ProLiant DL360 Gen10, welche über zwei Cisco-Switches mit 10 GBit/s zum Storage verbunden sind. Dieser besteht aus einem HPE MSA und zwei Huawei OceanStor.

 

Mit dem MSA läuft alles super. Das Kopieren einer grossen Datei auf ein darauf befindliches CSV läuft mit um die 300 MB/s. Der Zugriff auf die Huaweis läuft nur mit exakt 11.1 MB/s. Dies ist von allen Hosts aus der Fall. Die Latenz ist dabei sehr gering (wie zu erwarten bei SSDs) und VMs laufen problemlos (wenn auch mit entsprechendem Zeitbedarf zum Booten). Auf den Switches werden keine Pakete verworfen. Die Ereignisanzeige sagt nichts, auf dem Cluster ist alles grün. Auf den Huaweis wird bei allen Interfaces ein Link mit 10 GBit/s angezeigt.

 

Ich denke, es könnte ein Problem mit MPIO sein. Beim MSA haben alle Ports eines Controllers die gleiche IP-Adresse und der Pfad zum aktiven Controller ist "optimiert". Bei den Huaweis hat jeder Port eine andere IP-Adresse und alle Pfade sind gleichwertig. Dies ist laut Dokumentation jedoch korrekt.

 

Bevor ich mich an die umfangreiche Fehlersuche mache, wollte ich kurz fragen, ob jemandem die 11.1 MB/s bekannt vorkommen? Hatte jemand schon mal ein solches Verhalten?

 

Besten Dank für eure Tipps!

[Nobbyaushb 1.471]

Moin,

bei 10G sind 300 MB/s deutlich zu wenig

Wir erreichen bei drehenden Platten dahinter Werte um 600 MB/s und bei Storage mit SSD bzw. nVME Werte jenseits der 800 MB/s

 

Wir haben auf den iSCSI mehr als eine IP pro physischem Port, aktuell 3 Stück - iSCSI in Zusammenspiel mit MPIO belastet die CPU im Host deutlich

Ich kann mal den How-To dazu suchen.

Bei uns ist das Konstrukt zwar ein anderes, aber das Prinzip das gleiche

 

[NilsK 2.934]

Moin,

 

Redirected Access auf das CSV könnt ihr ausschließen?

 

Gruß, Nils

 

[mwiederkehr 373]

vor 27 Minuten schrieb Nobbyaushb:

Wir erreichen bei drehenden Platten dahinter Werte um 600 MB/s und bei Storage mit SSD bzw. nVME Werte jenseits der 800 MB/s

Theoretisch müssten um die 800 MB/s drin liegen, aber ich war mit den 300 MB/s zufrieden in Anbetracht des nicht mehr ganz neuen MSA2052 und RAID 6.

vor 28 Minuten schrieb Nobbyaushb:

Wir haben auf den iSCSI mehr als eine IP pro physischem Port, aktuell 3 Stück - iSCSI in Zusammenspiel mit MPIO belastet die CPU im Host deutlich

Ich kann mal den How-To dazu suchen.

Gerne! Die Ports auf den Hosts haben je eine IP und sind "standalone", also nicht in einem Team. Ist eine separate Karte mit vier Ports, also keine virtuellen Adapter mit anderem VLAN oder so.

 

Bezüglich MPIO habe ich gelesen, man solle bei 10 GBit/s Round-Robin ausschalten und auf Failover umstellen. Das dauernde Umschalten zwischen den Verbindungen bringe nicht viel, da 10 Gig den Speicher eh sättige.

 

vor 3 Minuten schrieb NilsK:

Redirected Access auf das CSV könnt ihr ausschließen?

Ja, das habe ich geprüft. Habe den Test auch von allen Hosts aus auf alle Volumes durchgeführt, immer mit dem Resultat 11.1 MB/s.

[NorbertFe 2.035]

Re-FS oder NTFS fällt mir dabei ein.

[djmaker 95]

Hallo,

 

die manuals hast Du durch?

 

https://support.huawei.com/enterprise/en/doc/EDOC1000150159

 

https://support.huawei.com/enterprise/en/doc/EDOC1000150159/ef6c4528/os-native-multipathing-software

[mwiederkehr 373]

Am 10.7.2020 um 11:56 schrieb NorbertFe:

Re-FS oder NTFS fällt mir dabei ein.

Guter Hinweis! Habe nachgeschaut: einige LUNs sind tatsächlich mit ReFS formatiert, aber auch die mit NTFS sind langsam.

Am 11.7.2020 um 14:14 schrieb djmaker:

die manuals hast Du durch?

Es ist ein etwas älteres Modell (2200 V3) im Einsatz, dort gibt es die Option "third-party multipath" nicht, aber man kann ALUA manuell aktivieren. Wenn er mit Round-Robin jedes zweite Paket über den "falschen" Controller schickt, würde das die lahme Performance erklären. (Wobei ich rein vom Gefühl her gesagt hätte, dass auch der nicht optimierte Pfad schneller sein sollte.)

 

Werde schauen, dass ich einen Host frei bekomme, um für dessen Initiator ALUA aktivieren zu können.

[mwiederkehr 373]

Nachdem mich der Kunde endlich wieder aufs System gelassen hat, möchte ich eine Rückmeldung geben: Das Problem war tatsächlich der asymmetrische Zugriff. Bei den OceanStor V3 muss die Option "Use third-party multipath software" aktiviert sein, wenn man das MPIO von Windows nutzt. Nur so wird die Information weitergegeben, welche Pfade über den "richtigen" (aktiven) Controller gehen.

 

Info am Rande: Bei einem brandneuen OceanStor V6, welches ich zusätzlich in Betrieb nehmen durfte, sind die Pfade auf beide Controller "aktiv/optimiert". "Nicht optimiert" sind Pfade auf entfernte, replizierte Ziele. Ein Test hat gezeigt, dass sich eine LUN gleichzeitig über beide Controller mit der vollen Geschwindigkeit ansteuern lässt.

 

Nochmals vielen Dank für eure Unterstützung!

[djmaker 95]

Danke für dein Feedback. Man lernt nicht aus.