Massive Performance Probleme seit vSphere 6

[StefanWe 14]

Hast du die VM Hardware Version schon angehoben?

 

Wenn nein, installier den einen Host doch mal mit deiner vorherigen esxi Version neu. Du kannst ohne Probleme vms auf ältere Versionen zurück schieben, solang die vmx Hardware Version passt.

 

Und dann siehst du ja, ob Fehler noch vorhanden = vermutlich Hardware.

[Leuchtkondom 17]

Hallo Leute,

 

ich danke euch erstmal für eure zahlreichen Antworten.

Ich habe das Wochenende genutzt und einiges gemacht.

 

Ich habe an beiden Hosts ein BIOS Update gemacht, die SAS HBA Firmware aktualisiert, sowie auf den Emulex 10 GB Netzwerkkarte die aktuellste Firmware installiert, Ergebniss -> keine Änderung.

 

Da ich in dieser Zeit aber die Maschienen immer von einen Host auf den anderen schieben musste, damit ich diese Arbeiten durchführen kann ist mir was anderes aufgefallen.

Und zwar scheint Host 2 gar nicht langsam zu sein, jedoch aber die Kommunikation zwischen Host 1 und Host 2!

 

Am Beispiel Datev:

Wir haben 2 Datev Terminalserver (DATEV per RemoteAPP), und einen Datev Datenserver (MS SQL und Datevdienste)

 

Bis zur der ganzen ESXI Update Geschichte war DATEV-TS1 und DATEV-Server auf Host 1, auf Host 2 DATEV-TS2.

Auf TS2 war praktisch kein Arbeiten möglich, auf TS1 ging es super schnell!

 

Nun habe ich durch die Arbeiten wie gesagt die Maschinen vorschoben, der DATEV-Server lag auf Host 2, wo auch TS2 liegt / lag. 

Plötzlich ging an TS2 alles super schnell und TS1 war grotten langsam.

 

Man konnte den Fehler so nachvollziehen, je nachdem wo ich die Maschine hatte.

 

 

Am Coreswitch wurde seit der ESXi Update Installation nichts gemacht, ich kann auch Dateien zwischen den Host von VM zu VM recht schnell kopieren (sodass das Storage die Beschränkung ist in der Gesschwindigkeit).

 

In allen Maschinen sind VMXNet 3 Netzwerkkarten (wegen 10 GBit Konnektivität), diese und sämtliche "Dienste" (iSCSI, vMotion,...) hängen an einen vSwitch (alles per VLAN). 

Die Konfiguration ist identisch zu ESXi 5.5 wo alles lief ...

[magheinz 110]

Welche Emulex ist das ganz genau? OEM-gelabelt?

Hast du als Fallback eine 1G-Verbindung definiert über die der Traffic jetzt eventuell geht?

Wir haben z.B. die emulexe von IBM gelabelt als VFA.

Vmware hat in der 6.0 die Treiber nicht ganz rausgenommen sondern nur dafür gesorgt das kein Traffic mehr darüber geht.

Ach ja: Die Lösung was das einspielen einer älteren Treiberversion.

http://vcdx133.com/2014/08/16/hs22v-esxi-5-5-upgrade-10gb-network-problem/

[Leuchtkondom 17]

Nein wir haben keine 1G "Backupverbindung", es sind zwar natürlich Karten im Server verbaut aber nicht an den vSwitch angebunden, das heißt der Traffic geht 100% über die 10G Verbindung.

Nein ist Original Emulex, OCe1102-NX

 

Dein Link schau ich mir mal an

[zahni 554]

Jetzt hast Du zum 1. Mal den genauen Adapter  genannt.

 

Prüfe, ob Firmware  und Treiber passen:

 

http://www.vmware.com/resources/compatibility/detail.php?deviceCategory=io&productid=18994&vcl=true

 

Und wie ich schon schrieb: Aufschrauben, Hardware  prüfen  (Lüfter, Wärmeleitpaste oder -Pad)

Eventuell liegt es auch am Storage, dass dort irgendwas falsch konfiguriert ist, hier mal lesen:

 

http://blogs.vmware.com/vsphere/2012/05/troubleshooting-storage-performance-in-vsphere-part-1-the-basics-.html

[Leuchtkondom 17]

@zahni, danke für deine Hilfe, hatte ich aber bereits auf Seite 1 geschrieben!

 

Es macht doch keinen Sinn Lüfter zu prüfen, wenn es INNERHALB eines Hosts alles sauber schnell funktioniert. Auch kann ich das Storage ausschließen, daran wurde nichts gemacht und da kann man nichts falsch konfigurieren, außerdem wäre dann das Problem auch INNERHALB des Hosts.

 

Zwecks Firmware und Treiber schaue ich, danke

 

edit: Auf dem Server läuft aktuell lxnet version 10.2.309.6v-1vmw, also die "ältteste" Version, ich werde heut Nacht mal updaten, danke dir

bearbeitet 7. März 2016 von Leuchtkondom

[zahni 554]

@zahni, danke für deine Hilfe, hatte ich aber bereits auf Seite 1 geschrieben!

 

 

Ne, Du hast nur "Emulex" geschrieben. Die stellen mehr als einen Adapter her.

[Leuchtkondom 17]

also ich habe nun alle Treiber geupdatet in den Hosts (Netzwerk und SAS HBA), leider keine Besserung...

 

So langsam bin ich etwas ratlos,

 

wie gesagt Hardware kann ich definitiv ausschließen. Den auf beiden Hosts läuft es wunderbar wenn Server UND Client AUF EINEM Host läuft.

Storage kann ich auch ausschließen, denn das wie gesagt, auf einen Host läuft es. Nur wenn Server und Client auf 2 Hosts getrennt ist passiert das Problem.

 

Hardware steht komplett auf der HCL, alles Firmware´s geupdatet, ESXis komplett gepatcht und Treiber aktualisiert

 

edit: Was ich noch testen würde die Tage wäre die Server nur per GBit anzubinden an den Switch mit den Onboard Nics, was anderes fällt mir dann tatsächlich nicht mehr ein.

bearbeitet 14. März 2016 von Leuchtkondom

[OliverHu 19]

Moin!

 

Ich nochmal: hast du dir denn mal die Performance Counter angeschaut, oder nicht?

[sheeva 10]

hast du den lösungsvorschlag von mad1812 schon ausprobiert? https://kb.vmware.com/selfservice/microsites/search.do?language=en_US&cmd=displayKC&externalId=2129176

[Leuchtkondom 17]

Hallo Leute,

 

ich danke euch alle für die zahlreichen Antworten.

Leider werde ich zwar nie raus finden was das Problem war, aber ich habe am Wochenende das neue Update 2 installiert, seit dem rennen die Hosts wieder, unglaublich das ist ein Unterschied wie Tag und Nacht.

 

vielen Dank an alle

bearbeitet 21. März 2016 von Leuchtkondom

[v-rtc 88]

Danke für die Info. Wäre zu schön gewesen zu wissen, was der Fehler wirklich war. Dies könnte vermutlich nur VMware...

Viele Grüße

[Leuchtkondom 17]

Wobei mein Fehler bei VMware beschrieben ist mir der Lösung das das Problem behoben sei in Update 2.

Naja vielen Dank an alle

[gogo_sven 10]

Hallo,

 

weiß ja nicht ob der Fehler noch aktuell ist, aber folgenden Artikel habe ich dazu gefunden und hat sogar bei mir Abhilfe geschaft.

 

http://www.datev.de/dnlexom/client/app/index.html#/document/1080080

6.1 Performance

Zurzeit werden uns verstärkt Performanceprobleme unter vmware vSphere 6 in Verbindung mit dem vmxnet3 Ethernet Adapter mit neuer Serverhardware (Netzwerkkarten) gemeldet. Die Probleme treten zum Beispiel bei Kanzlei Rechnungswesen pro auf. Beim Start hängt das Programm ca. 1- 2 Minuten beim Punkt Initialisiere Mandant.

Wenn Sie von diesem Problem betroffen sind, deaktivieren Sie testweise in allen virtuellen Maschinen auf dem vmware vSphere 6 Host das Feature RSC (Recv Segment Coalescing) des vmxnet3 Adapters.

Auswirkung auf Netzwerkperformance

Durch das Deaktivieren des RSC wird die Netzwerkperformance negativ beeinflusst. Bevor Sie RSC deaktivieren, sollten Sie alle Netzwerkeinstellungen überprüfen und die aktuellen Updates für Ihren VMWare-Host und die VMWare-Tools, sowie die aktuellen Treiber für Ihre Server-Hardware installieren.

Zum Deaktivieren des RSC öffnen Sie eine Eingabeaufforderung mit administrativen Rechten und erfassen Sie folgenden Befehl:

• netsh int tcp set global rsc=disabled

Ein Serverneustart ist nicht notwendig.

 

LG Sven