Hyper-V Performanceproblem

[dalmatino 10]

Hallo Leute,

 

folgendes Problem wo ich ein wenig Denkunterstützung brauche.

 

Wenn in den VMs viele "kleine" Dateien kopiert werden, geht die Übertragungsgeschwindigkeit massiv in die Knie.

Große Dateien werden mit ca. 100MB/s kopiert. Wenn es jedoch ein paar hundert Dateien sind, geht die Rate auf ca. 10 MB/s runter. Dass sie runter geht ist klar, aber so massiv, finde ich, ist schon komisch.

Wenn ich mich recht entsinne, war das vorher auch nicht der Fall.

Irgendwo scheint sich hier eine I/O Bremse eingeschlichen zu haben.

 

Bei dem System handelt es sich um einen 2-Knoten Hyper-V Failover Cluster.

OS: Server 2008 R2 aktueller Updatestand

Fujitsu RX300S6 - mit einer 1GBit ISCSI Anbindung.

 

Storage ist eine Fujitsu DX60 mit 2x 1GBit ISCSI.

 

Die Netzwerklast auf dem jeweiligen Knoten (bei den Tests) liegt laut Taskmanager für die ISCSI-Karte zwischen 10 und 50%.

 

Liegt es vllt. am Switch, am Storage, an der VM-Konfiguration für die VHDs (IDE/SCSI -> VHD),...

Habt ihr eine Idee woran es liegen könnte bzw. wie ich am Besten herausfinden kann, was diese Performanceeinbuße verursacht?

 

Stehe gerade ein wenig auf dem Schlauch und bin für jeden Anhaltspunkt oder Tipp sehr dankbar.

 

Im Voraus vielen Dank!

[bla!zilla 10]

Wieviele Platten und was für Platten stecken in der DX60? Wie sind die Vdisks und Volumes konfiguriert?

[zahni 554]

Geht ISCSI über das gleiche Kabel, Switch wie das LAN ?

 

-Zahni

[dalmatino 10]

Wieviele Platten und was für Platten stecken in der DX60? Wie sind die Vdisks und Volumes konfiguriert?

 

6x 450GB 1500er SAS Platten im RAID5 Verbund. Eine Platte davon als HotSpare

 

RAID Level RAID5

Total Capacity (MB) 1676288

Total Free Space (MB) 560240

 

Disk Status Capacity Speed (rpm) Usage Type Mirroring Pair

CE-Disk#0 Available 450GB 15000 System 3.5" SAS

CE-Disk#1 Available 450GB 15000 System 3.5" SAS

CE-Disk#2 Available 450GB 15000 Data 3.5" SAS

CE-Disk#3 Available 450GB 15000 Data 3.5" SAS

CE-Disk#4 Available 450GB 15000 Data 3.5" SAS

 

EDIT:

Volume List (DX60)

No. Name Status Type Capacity (MB) Encryption RAID Group Formatting Progress Migration Progress

0 Witness Available Open 1000 No 0:Raid5 - -

1 LUN1 Available Open 160000 No 0:Raid5 - -

2 LUN2 Available Open 420000 No 0:Raid5 - -

3 LUN3 Available Open 120000 No 0:Raid5 - -

4 LUN4 Available Open 120000 No 0:Raid5 - -

5 LUN5 Available Open 30000 No 0:Raid5 - -

6 LUN6 Available Open 90024 No 0:Raid5 - -

7 LUN7 Available Open 60024 No 0:Raid5 - -

8 LUN8 Available Open 35000 No 0:Raid5 - -

9 LUN9 Available Open 80000 No 0:Raid5

 

MS ISCSI Initiator mit MPIO

bearbeitet 12. November 2012 von dalmatino
Nachtrag

[dalmatino 10]

Geht ISCSI über das gleiche Kabel, Switch wie das LAN ?

 

-Zahni

 

Die Host haben jeweils eine Netzwerkkarte nur für das ISCSI. Also eigenständiges Kabel. Das ISCSI-Netzwerk ist auch in einem anderen IP-Bereich.

An dem Switch hängen die beiden Knoten und das Storage.

Sowohl das "normale" Netz als auch das ISCSI Netz gehen über diesen Switch.

[bla!zilla 10]

Hui, 9 Volumes auf einer Vdisk mit fünf Platten als RAID 5. Das kann beim Kopieren eigentlich nicht gut laufen. Kopierst du von einem Volume auf ein zweites Volume? Wie ist die durchschnittliche Dateigröße?

[dalmatino 10]

Es war eine Empfehlung von Fujitsu, für jede virtuelle Maschine eine LUN anzulegen.

Da es so "performanter" wäre.

 

Ich habe z.B. vom Knoten1 eine Setupdatei mit 1,6GB auf eine VM kopiert (100MB/s).

Dann das gleiche mit irgendwelchen Ordnern, aber halt vielen Dateien. Würde sagen, im Schnitt 1MB. 340 Dateien, Übertragungsrate 12MB/s. Wie es auch scheint, ist die Geschwindigkeit bei den gleichen Dateien bei einer von VM zu VM-Kopie höher.

 

EDIT:

Was mir gerade aufgefallen ist, wenn die beiden VMs auf dem gleichen Knoten liegen, ist der Kopiervorgang wie gewohnt performant. Liegen die VMs auf unterschiedlichen Knoten, geht die Rate extrem runter.

bearbeitet 12. November 2012 von dalmatino
Feststellung

[bla!zilla 10]

Oh, na da war aber ein Experte von Fusi am Werk... 1MB IO Size ist aber schon groß. Müsste über den Daumen gepeilt (bei 50% R/W Ratio) ungefähr 40 MB/s ergeben. Mir erscheinen die 12 MB/s realistisch in deinem Setup.

[dalmatino 10]

Oh, na da war aber ein Experte von Fusi am Werk... 1MB IO Size ist aber schon groß. Müsste über den Daumen gepeilt (bei 50% R/W Ratio) ungefähr 40 MB/s ergeben. Mir erscheinen die 12 MB/s realistisch in deinem Setup.

Warum ist die Rate dann denn höher, wenn beide VMs auf dem gleichen Knoten liegen?

[bla!zilla 10]

Müsste man jetzt mal im Detail untersuchen. Da muss man ein paar Dinge ausschließen: Cache, welchen Weg die Daten wirklich nehmen (Hyper-V intern oder über externen Switch) etc.

[NeMiX 76]

Rein Interessehalber: Wieviele VMs lässt du darauf laufen? Wirklich 9 Stück?

[dalmatino 10]

Es laufen derzeit 8 Stück. Wohingegen 5 Stück davon im Betrieb benötigt werden.

Diese sind auf den Knoten verteil... also 4 und 4 und eine Test-VM ist ausgeschaltet.

[dalmatino 10]

welchen Weg die Daten wirklich nehmen (Hyper-V intern oder über externen Switch) etc.

 

Was wäre dein Tipp, wie soll ich das am Besten testen?

[bla!zilla 10]

Zum Testen würde ich IOmeter verwenden. Damit kannst du mal die Performance in Richtung Storage testen. Im Prinzip kannst du am Switch sehen ob da Verkehr rüber geht.

[NeMiX 76]

Und vielleicht mal mit perfmon schauen was da so durchgeht.

Sollte der Virtuelle Storage Adapter sein den du messen musst.

 

Würde aber eher sagen das deine 6 HDDs im Raid5 schon fast der Flaschenhals sind, dass sind relativ wenig Spindeln.