ClusterStorage nicht von allen Nodes Ansprechbar

[ulitik 10]

Moin,

 

wir betreiben schon seit einiger Zeit ein Hyper-V-Cluster aus 6 Nodes. Alles funktioniert auch super, bis auf die letzte Zeit(ca. 3 Monate) treten immer mal wieder Probleme mit der benutzbarkeit einiger Volumes auf verschiedenen Nodes im Cluster auf. Die Ursache dafür habe ich bis jetzt nicht gefunden und in den Logs gibt es auch keine richtigie Anhaltspunkte dafür. Das Problem entsteht sporadisch auf einzelnen Nodes und ist meist auch nach Reboot des Nodes auch weg. Ohne dass vorher am Netzwerk oder SAN was geändert wird.

 

Aktuell habe ich wieder das Problem, dass eins der Volumes von einem der 6 Nodes nicht benutzbar ist(s.Bilder) und die VM's können somit auf diesen Node nicht verschoben werden. 

 

Kann mir jemand ein Tipp geben oder erklären wie sowas zustande kommen kann?

 

 

bearbeitet 13. März 2018 von ulitik

[NorbertFe 2.034]

Wie ist das Storage denn angebunden? 

[ulitik 10]

Hi, es ist eine FC-Storage. Die ist per FC-Switch an die Nodes angebunden.

[NorbertFe 2.034]

Schonmal auf den FC Switches nachgeschaut? Mal auf Errorcount usw. achten.

[zahni 554]

Ist das Zoning korrekt konfiguriert?

Faustregel: Die Hosts dürfen sich untereinander nicht sehen. Das Storage-System muss pro Host  eine Zone haben. Sonst können  Bus Resets  die anderen Teilnehmer "verwirren".

 

[ulitik 10]

vor 47 Minuten schrieb NorbertFe:

Schonmal auf den FC Switches nachgeschaut? Mal auf Errorcount usw. achten.

Ja, natürlich. Alles durchgegangen. Keine Fehler oder Hinweise in den Logs. Ich hatte die Switche auch schon mal vorsorglich restartet. Keine Besserung. 

vor 48 Minuten schrieb zahni:

Ist das Zoning korrekt konfiguriert?

Faustregel: Die Hosts dürfen sich untereinander nicht sehen. Das Storage-System muss pro Host  eine Zone haben. Sonst können  Bus Resets  die anderen Teilnehmer "verwirren".

 

Ja, ist das. Es funktioniert auch alles, Bis einer der Nodes das Volume nicht mehr ansprechen kann. Nachm Reboot ist auch meist alles wieder gut und funktioniert.

 

[zahni 554]

Was hast Du denn für ein Hyper-V und welche Events  treten  im Eventlog  auf ?

[ulitik 10]

vor 55 Minuten schrieb zahni:

Was hast Du denn für ein Hyper-V und welche Events  treten  im Eventlog  auf ?

Was genau meinst du? Die Hyper-V Version?  Hyper-V Version: 10.0.14393.2035

 

Im Eventlog finde ich nichts was auf Storage oder Netzwerk zurückzuführen ist. Nur so allgemeine Sachen wie Cortana konnte nicht ausgeführt werden(GPO), The WMI Performance Adapter service entered the stopped state. etc. und natürlich auch, dass 2 VM's nicht migriert werden konnten, weil die Volume, wo die Maschinen sind von der Node nicht erreichtbar ist.

 

 

 

bearbeitet 13. März 2018 von ulitik

[zahni 554]

Ist  die LUN von  allen Hosts auch über alle Pfade erreichbar? Ist MPIO korrekt konfiguriert? Wenn da ein Pfad ausfällt, setzt es Eventlog-Meldungen...

[ulitik 10]

Gerade eben schrieb zahni:

Ist  die LUN von  allen Hosts auch über alle Pfade erreichbar? Ist MPIO korrekt konfiguriert? Wenn da ein Pfad ausfällt, setzt es Eventlog-Meldungen...

ja, ist es. MPIO ist auch von allen Servern aus funktional und beide Pfade sichtbar, obwohl das Volume selber momentan von einem der Nodes nicht zugriffsbereit ist.  Es war z.B gestern mittag alles erreichbar und von allen Nodes konnte ich die LUN auch sehen und zugreifen. Heute morgen hatte ich versucht 2 Maschinen auf den Node zu verschieben und das ging nicht. Dabei ist es mir aufgefallen, dass das Volume von dem Node nicht erreichbar ist. Ich hatte auch schon die LUN komplett neu gemacht, formatiert und als CSV neu eingebunden. Ich weiss langsamm nicht was ich noch prüfen/testen kann.

[Nobbyaushb 1.471]

Moin,

FC hatten wir auch mal, das muss sauber mit den Switchen eingerichtet sein, sonst kommt es genau zu den beschriebenen Problemen.

 

Zoning / Fabric muss einer machen, der sein Handwerk versteht.

 

Wenn das nicht eurer täglich Brot ist, würde ich einen externen Spezi dazu nehmen.

 

Wer hat das denn initial eingerichtet?

 

Wir sind inzwischen auf iSCSI umgestiegen, da wir zu viele Ports brauchten und das sowohl Storageseitig als als Lizenztechnisch zu teurer geworden wären, wir haben jetzt mindestens 4* 10GB Ethernet per Maschine, auf dem Storage 4 Karten mit je 2 Ports.

[ulitik 10]

Die initiale Einrichtng der FC-Hardware hatten wir damals mal mit einer Firma aus Bochum und Brocade-Support gemacht. Wie ich schon sagte, es hat eine ganze zeit funktioniert und nach einem Reboot des Hosts funktioniert auch wieder, also gehe ich nicht davon aus, dass FC-Konfig buggy ist. Sonst müsste das Problem inner schon vorhanden gewesen sein? Weil dann müsste es immer zu dem Problem gekommen sein. Was aber nicht der Fall war/ist.

[testperson 1.677]

Hi,

 

wie sind die Volumes formatiert? Zufällig ReFS?

 

Gruß

Jan

[ulitik 10]

vor 2 Minuten schrieb testperson:

Hi,

 

wie sind die Volumes formatiert? Zufällig ReFS?

 

Gruß

Jan

Hi, nein, NTFS 16k.

[zahni 554]

Was hängt da  am Ende?   Hat der Storage 1 oder 2 Controller. Wird ein Switch oder 2 verwendet? Welcher DSM wird verwendet?

Gibt es hier vielleicht Updates? Auch von Microsoft gibt es öfter mal Updates für das MPIO-Gedöns. Sind alle Updates installiert? U.U. mal Online suchen.