Ubuntu Server - read only filesystem unter Hyper-V

[Doso 77]

Wir haben einen 6 Node Hyper-V Cluster unter Windows Server 2012R2. Als Storage dient ein SAN IBM DS3524 mit SAS 10K Platten, Platten sind als CSV eingebunden. Storage Netzwerk ist Multipath auf eigenständigen HP 1810 Switches, 1GBe. Zur Sicherung der VMs nutzen wir Microsoft DPM2012R2, wir sichern die Linux VMs über Hyper-V, die entprechenden Daemons sind aktuell und laufen.

 

Auf dieser Plattform laufen im Moment um die 40 Windows Server in verschiedenen Versionen und einige Ubuntu 14.04 Linux VMs als Webserver. Leider ist es uns schon 2x passiert das unter den Ubuntu VMs das Dateisystem plötzlich read only war. Das ist natürlich doof da die lokalen MYSQL Server dann die Funktion einstellen. Logfiles gibt es keine, da diese ja nicht geschrieben werden konnten. Ein Neustart der VM und bestätigen das das Dateisystem wieder normal eingehängt werden kann behebt das Problem.

 

Ausser jetzt hier in den Ubuntu VMs einige Parameter zu setzen das länger auf das Storage gewartet werden soll, fällt uns nichts ein. Jemand eine Idee was man hier probieren oder nachschauen könnte?

 

[Lian 2.421]

Hallo,

 

was für ein file system wird unter Ubuntu genutzt?

 

Sicher das der Status zu dem Zeitpunkt OK ist?

http://ubuntuforums.org/showthread.php?t=1954106&p=11825327#post11825327

[Doso 77]

Standard Filesystem ohne LVM, also extfs4. Das Filesystem hat keine Fehler, das Storage zeigt keine Probleme, die Probleme treten auf wenn wenig Last ist. Windows Hosts sind nicht betroffen.

[NeMiX 76]

Hi,

 

wir haben das Problem in einer Cloudplattform auch sehr selten, wenn da die Storageanbindung wackelt (sei es zu hohe Latency oder Disk I/O Wait) dann geht Ubuntu/RHEL sehr schnell in RO Modus.

Wir haben den TimeOut angepasst, da wir NetApp einsetzen ist dort nach Best Practice 190Sekunden. Unser DevOps Team hat das ganze per Udev Regel gelöst, gibt auch andere Ansätze. Den TimeOut Wert solltest du bei IBM mal nachschlagen, ggf. gibt es andere Werte für euer Storagesystem und/oder Hyper-V:

/etc/udev/rules.d/20-storage_timeout.rules

KERNEL=="sda", SUBSYSTEM=="block", RUN+="/bin/sh -c '/bin/echo 190 > /sys$DEVPATH/device/timeout'"

 

[Doso 77]

Es liegt am Backup. Ich habe eine neue VM mit DPM gesichert und die Sicherung dann alle halbe Stunde wiederholen lassen. Irgendwann kommt es zu einem I/O Error auf dev sda und das Filesystem geht readonly.

 

VMWare scheint bei den VMWare Tools automatisch diese Timeout Wert zu erhöhen, Hyper-V natürlich nicht. Das ist dann der dritte Bug mit Ubuntu unter Hyper-V, kein Wunder das sich Microsoft so schwer tut hier Marktanteile aufzubauen....

 

Danke NeMiX für den Tipp, wir hatten auch die Vermutung das wir daran schrauben müssen, uns war nur nicht so klar wie.

bearbeitet 5. Dezember 2014 von Doso

[NeMiX 76]

Evtl. einmal mit IBM Rücksprache halten wie hoch der TimeOut dort sein sollte.

Die VMWare Tools setzen imho keinen TimeOut an den VMs, es gibt von NetApp ein vCenter Plugin das dir einfach nur die Werte anzeigt für die VMs, bei den Host die Werte anpassen kann und einige KB Artikel wie man die TimeOuts setzen sollte.

Das ein Backup für einen I/O Error sorgt ist aber auch eher ungewöhnlich oder? Ich kenne DPM nicht, wird da ein Snapshot der VM gesichert oder per Agent in der VM?

[zahni 554]

In Produktionsumgebungen sicherstellen, dass VM's keine aktiven Snapshots verwenden bzw. selbige nach einer Sicherung gelöscht werden.

 

Snapshots bei der  Netapp sind ein  ganz anderes Thema. Die wirken sich i.d.R. nicht auf die Performance aus.

[Doso 77]

DPM verwendet VSS zum sichern von VMs. Für Ubuntu gibt es dann einen VSS Daemon den man installieren muss damit man live backups ziehen kann: http://technet.microsoft.com/de-de/library/dn531029.aspx- Schritt 5.

 

Man sieht dann auch in den Logfiles von Ubuntu entsprechenden Einträge von VSS. Ich habe keine Ahnung wie das nun technisch genau passiert und was da schief geht. Ich kann es aber nachstellen das beim Backup mit DPM auf Ubuntu 14.04.1 mit VSS Daemon manchmal das Filesystem read only geht.

[NeMiX 76]

Wäre dann ein Fall für den DPM Support imho.

Man kann da mit den TimeOuts bestimmt die Toleranz höher stellen bzw. sollte man es generell machen nach BestPractice des jeweiligen Herstellers, aber ich glaube nicht das man damit das Problem dauerhaft löst.

[NilsK 2.934]

Moin,

 

Das ist dann der dritte Bug mit Ubuntu unter Hyper-V, kein Wunder das sich Microsoft so schwer tut hier Marktanteile aufzubauen....

 

mit solchen Zuordnungen sollte man dann doch etwas vorsichtiger sein.

 

Gruß, Nils

[Doso 77]

Da hast du Recht NilsK. Ist nur einfach ärgerlich wenn Features die MS in der Doku angibt und auf zeigt, wie Dynamic Memory Gen2VM und VSS Online Backups unter Linux, sich in der Praxis als fehleranfällig herausstellen.  Naja, werden wir halt wieder einen Workaround rein basteln in das VMM Template und in die VMs. Muss da noch testen, aber der Workaround von Nemix könnte passen. Manchmal wünschte ich, ich hätte mich für VMWare und nicht Hyper-V entschieden  :rolleyes:

bearbeitet 5. Dezember 2014 von Doso

[NilsK 2.934]

Moin,

 

nun - in deiner Situation ist ja nicht das VSS-Backup selbst fehleranfällig, sondern die spezifische Konstellation. Das ist sicher sehr ärgerlich, aber der Fehler liegt nun mal einfach nicht bei der Ubuntu-Unterstützung durch Hyper-V.

 

Und wo genau hast du eine VSS-unterstützte Backupfunktion in VMware, die weniger "anfällig" ist, wenn die Umgebungsbedingungen zusätzliche Einschränkungen erzeugen? Genau solche Aussagen meine ich ...

 

Gruß, Nils

[zahni 554]

Die Frage ist, die das Dateisystem von Ubuntu auf den externen Snapshot reagiert. Ich kenne Hyper-V nicht, daher VMware: Bei einem Snapshot kann man angeben, ob der Dateisystem der internen VM ebenfalls einen Snapshot ausführen soll. In diesem Fall erzeugen die VMWare-Tools unter Windows einen VSS-Snapshot.

 

Was genau machen die Hyper-V-Toll unter Ubuntu? VSS in der Windows-Form wird da eher nicht geben. Vielleicht wir einfach nur das Filesystem auf "Read-Only" gesetzt?

[NeMiX 76]

Was genau machen die Hyper-V-Toll unter Ubuntu? VSS in der Windows-Form wird da eher nicht geben. Vielleicht wir einfach nur das Filesystem auf "Read-Only" gesetzt?

 

Laut Link von Doso wird ein VSS Daemon installiert: http://technet.microsoft.com/de-de/library/dn531029.aspx

War mir auch neu das es sowas gibt, da lobe ich mir ein Backup per Veeam das Snapshots auf Host Ebene macht ;)

[Doso 77]

DPM kann auch Snapshots auf Host Ebene, nur wird da die VM kurz pausiert. Bei kleinen VMs sind das nur ein paar Sekunden, aber wir haben auch eine richtig große VM mit 250GB da dauert das dann 2 Minuten. Das ist eine größere internationale Website da ist so ne Dowtine dann eher nicht praktikabel. Mit dem VSS Daemon geht das halt alles online, kein Ausfall. Ob jetzt hier der VSS Daemon einen Fehler hat oder er einfach nur noch etwas mehr Latenz hinzufügt was dann manchmal den Grenzwert überschreitet muss ich noch ausprobieren. Andere Linux Distros sie Suse haben dieses VSS Backup eingebaut, werde hier mal gegentesten.