vSphere 4.1: seltsame Schreib/Leseperformance

[wannabee 10]

Hallo zusammen,

 

ich habe ein merkwürdiges "Problem". Vielleicht habt ihr ein wenig Ideen.

 

Vor einigen Wochen habe ich eine VMWare Umgebung übernommen. Schreib und Leseraten (ESXi-Hosts -> SAN) waren nicht schlecht aber auch nicht berauschend.

Es fehlten eingerichtetes Multipathing, iSCSI Port-Bindung etc....

Ich habe nun das ganze nachgezogen. Schreib und Leseraten waren sehr gut - also habe ich ein Cluster komplett darauf umgestellt.

 

Wo liegt nun mein Problem?

Die Schreibraten sind meist zwischen 120MB/s und 140MB/s (laut Tool - muss man ja nicht unbedingt viel drauf geben).

Die Leseraten bewegen sich zwischen 25 und 35MB/s. Je nach LUN im SAN und ESXi Host varriiert das ganze ein wenig.

Wenn ich nun den ESXi Host neustarte und den Test (in einer VM) laufen lasse, sind die Leseraten in etwa bei 150MB/s .... 10 Minuten später wieder bei 25-35MB/s.

 

Das SAN kann man wohl als Fehlerquelle ausschließen..

 

Ich vermute etwas im Zusammenhang mit dem Multipathing... aber meine Vorstellungskraft ist hier leider am Ende:

 

- Delayed ACK ist deaktiviert

- LRO deaktiviert

- IOPs Value auf 3

- iSCSI Port-Binding aktiviert

- Round-Robin aktiv

 

Zu den Komponenten:

 

vSphere 4.1 mit ESXi Hosts (Up to Date)

ESXi Hosts sind Dell Server

iSCSI - SAN: 2 Equal Logic von Dell

Switche: Dell PowerConnect 6224

 

Freue mich auf eure Ideen ;-)

[zahni 554]

Wei sind denn die Hosts mit dem Storage verbunden ? ich hoffe mal, das nicht alles über eine NIC läuft.

[wannabee 10]

es sind 2 VMKernel Ports für iSCSI. Jedem ist eine eigene Netzwerkkarte zugewiesen.

 

vmk0 -> vmnic2

vmk1 -> vmnic4

 

Somit hängt jeder Host mit 2 "Beinen" auf dem "SAN/iSCSI-Switch". Das Equal Logich hat 2 Controller mit je 3 Ports wobei einer nur für den Failover-Fall zur Verfügung steht. Hier sollte es aber passen (:

[zahni 554]

Ich gehe davon aus, dass Dell irgendeinen Config-Guide für Vmware hat.

 

Ich kann nur ein paar Dinge "verraten", dei lt. HP bei einer Fiber-Channel einstellen soll.

 

Viellicht passt ja hier was:

 

/adv/Disk/DiskMaxIOSize = "128" (das ist hier wirklich ein EVA-Spezial, m die Controller nich zu überlasten)

 

/adv/Disk/UseDeviceReset = "0"

 

Wenn das Dell-Teill ALUA unterstützt, denn die Default-Reichtiline wie folgt festlegen:

 

c:\Programme\VMware\VMware vSphere CLI\bin>esxcli --server myserver nmp satp setdefaultpsp --satp VMW_SATP_ALUA --psp VMW_PSP_RR

 

Für jede LUN den Werte "IOPS" auf 1 stellen: (Edit: Das olltest Du wirklich austesten. Eventuell ist für ein höherer Wert sinnvoller)

 

c:\Programme\VMware\VMware vSphere CLI\bin>esxcli --server myserver nmp roundrobin setconfig --type=iops --iops 1 --device naa.600xxx

 

Die Device ID's kannst Du mit:

 

vicfg-scsidevs.pl --server myserver --uids

 

auslesen.

 

 

Bei ISCSI solltest Du eventuell mit Jumbo Frame arbeiten. Wie das einzustellen ist, sollte hier beschrieben sein: VMware KB: iSCSI and Jumbo Frames configuration on ESX/ESXi

 

Vmware hat auch einen ISCSI-Guide http://www.vmware.com/pdf/vsphere4/r40/vsp_40_iscsi_san_cfg.pdf

 

Hier noch ein link:

 

VMware KB: Configuring and troubleshooting basic software iSCSI setup

[wannabee 10]

Hey zahni, danke fürs reinhängen.

 

Die "IOPS" habe ich auf "3" gesetzt da es anscheinend eine Empfehlung von Dell ist das so zu machen.

 

Ich fress ich gerade zum x-ten mal durch den VMWARE - Equal Logich guide durch ... irgendwie strange. Ist ja nicht das xxxx-te mal dass ich sowas konfigurieren würde ... :-)

 

Danke schon mal :-)

[bla!zilla 10]

/adv/Disk/DiskMaxIOSize = "128" (das ist hier wirklich ein EVA-Spezial, m die Controller nich zu überlasten)

 

Das macht nicht nur bei einer EVA Sinn und hat auch weniger was mit Überlast zu tun. Die wenigsten Storagesysteme verpacken intern 32 MB IOs. Zudem ist ein 32 MB Exchange bei Fibre-Channel ziemlich doof, da damit auch sehr viele Frames verbunden sind. Die EVA, und die meisten anderen Storagesysteme auch, kommen mit IO Größen von 128 bis 512 KB am besten klar. Gerade hinsichtlich der Cacheslotsize etc.

 

/adv/Disk/UseDeviceReset = "0"

 

Hat was mit SCSI Reservations zu tun. Ist er Parameter aktiviert, bläst dir ein SCSI Bus Reset die kompletten SCSI Reservations für ein Device weg, nicht nur für die LUN. Kann durchaus doof sein.

 

Für jede LUN den Werte "IOPS" auf 1 stellen: (Edit: Das olltest Du wirklich austesten. Eventuell ist für ein höherer Wert sinnvoller

 

Ich verstehe bis heute nicht, warum viele Hersteller dieses Setup empfehlen... Es bringt in der Praxis so gut wie nichts.

 

Jumboframes bringen nur etwas, wenn die durchschnittliche IO Größe über 8 KB liegt. Muss man mal messen. Könnte aber was bringen. Da die Schreibraten aber okay sind, glaube ich nicht daran.

 

Wenn die Schreibraten okay sind, aber die Leseraten schlecht sind, dann würde ich mal in die folgenden Richtungen forschen:

 

- Uplinks der Boxen

- Volume-Setup der Kisten

- Firmware der EQL

[zahni 554]

Eine Frage: Mit welchem Tools testest Du eigentlich ? Hoffentlich nicht H2testw von Heise. Bei dem Ding sind die Leseraten immer deutlich langsamer. Vermutlich weil es den Inhalt der gelesenen Dateien prüft. Das Tool ist zum validieren von USB-Sticks gemacht...

[wannabee 10]

schon verschiedene Tools benutzt.

 

-AS SSD Benchmark

-Bench32

 

habe bei beiden Tools noch keine Probleme verzeichnen können. Ich habe mir das Ganze dann auch noch über den "SAN HeadQuarters" (direkt von Dell für Equal Logic) angesehen und die Werte stimmen. Effektiv wird gut geschrieben, aber schlecht gelesen :(

 

@bla!zilla

Uplinks der Boxen? SAN Uplinks? ESXi Host Uplinks? SAN wurde von Dell geprüft. Die haben keinen Fehler gefunden. ESXi Hosts melden auch nichts. Und das Switch dazwischen meckert auch nicht.

Das einzige was angemerkt wurde:

aktuelle SAN Firmware: 5.2.5

meine: 5.0.8

 

Aber ihr wisst ja selbst wie gut man SAN Updates "kurzfristig" unterbringt :). Muss ich definitiv machen ... aber kanns das wirklich sein? :/

[zahni 554]

Ich verstehe bis heute nicht, warum viele Hersteller dieses Setup empfehlen... Es bringt in der Praxis so gut wie nichts.

 

 

Unsere EVA 4400 läuft so und zeigt bei der Storage Performance keine negatives Auffälligkeiten.

 

Bei der EVA 4400 soll man für DiskMaxIOSize in der Tat nicht mehr als 128 nehmen. Da gab es von HP irgendein Advisory. Ein grössere Wert kann zu ernsthaften Problemen führen.

[bla!zilla 10]

-AS SSD Benchmark

-Bench32

 

Beide Tools sind für das, was du testen willst, nicht zu gebrauchen. Die Tests kannst du in die Tonne treten.

 

@bla!zilla

Uplinks der Boxen? SAN Uplinks? ESXi Host Uplinks? SAN wurde von Dell geprüft. Die haben keinen Fehler gefunden. ESXi Hosts melden auch nichts. Und das Switch dazwischen meckert auch nicht.

Das einzige was angemerkt wurde:

aktuelle SAN Firmware: 5.2.5

meine: 5.0.8

 

Ist quasi egal. Wahrscheinlich suchst du jetzt ein Problem, wo es kein Problem gibt.

 

Unsere EVA 4400 läuft so und zeigt bei der Storage Performance keine negatives Auffälligkeiten.

 

Es schadet nicht, bringt aber auch nichts. Es ist ein Parameter, bei dem man den Defaultwert ändert. Insofern ist es etwas, was ich nicht ändern würde.

 

Bei der EVA 4400 soll man für DiskMaxIOSize in der Tat nicht mehr als 128 nehmen. Da gab es von HP irgendein Advisory. Ein grössere Wert kann zu ernsthaften Problemen führen.

 

Na ja, die ernsthaften Probleme sind eher theoretischer als praktischer Natur. Windows Server 2008 und ESXi 4.x können theoretisch 32 MB IOs. Das finde die EVA natürlich doof und ist auch aus Sicht von Fibre-Channel eher suboptimal, da dieser IO einen Exchange darstellt und 32 MB Exchanges eher unschön für die Lastverteilung sind. Die EVA nutzt intern eine 128 KB Chunksize, insofern sind maximal 128 KB große Chunks möglich. Das passt dann sehr gut zur internen Organisation der EVA (Cache, PSEG, RSTOR etc.).

[wannabee 10]

bla!zilla was kannst du mir hier empfehlen?

 

Ich würde gern sehen was ich maximal Schreiben sowie Lesen kann und das am Besten aus der Sicht einer virtuellen Maschine.

 

Ich führe diese Tests wirklich gerne aus und poste hier die Werte... hauptsache es bringt mich/uns weiter (:

[zahni 554]

Na ja, die ernsthaften Probleme sind eher theoretischer als praktischer Natur. Windows Server 2008 und ESXi 4.x können theoretisch 32 MB IOs.

 

Lies mal hier: HP 4400 Enterprise Virtual Array -  HP StorageWorks Enterprise Virtual Array - Performance Degraded with Windows 2008 and/or ESX VMware Hosts - c02765942 - HP Business Support Center

[bla!zilla 10]

Joar, entspricht so ziemlich dem, was ich gesagt habe. Ich kenne auch dieses Advisory (betrifft alle EVA Modelle). Ändert nichts an der Tatsache, dass es in der Praxis fast nicht zu beobachten ist. IO Größen > 128 KB sind selten. Wir können dazu gerne weiter per PN reden.

 

Zum Thema: IOmeter. Ein IOmeter pro VMware Gast. Pro IOmeter zwei, drei oder vier Worker. Dann kannst du mit IO-Größen, Queue Length etc. rumspielen bis du den Maximalwert herausgetestet hast.

[wannabee 10]

VMWare Support ist nun auch dran. Die finden das Ganze auch sehr ominös... sollte es ne Lösung geben, meld ich mich