Erfahrungen mit Datendeduplizierung in 2012R2?

[Marcin_K 1]

Hallo

 

In nächster Zeit plane ich meinen Fileserver auf die neue Hardware zu migrieren. Das ist der Cluster, zwei Knoten, ungefähr 9TB von Daten (die umgeleiteten Ordner, die Abteilungsordner, usw.), jetzt läuft er auf Windows 2008R2. Ich will ihn natürlich auf 2012R2 übertragen und möchte die Datendeduplizierung verwenden. Die große Menge von Daten sind die Backups von PST-Dateien, also sie sind die perfekten Kandidaten zur Deduplizierung und, auf diese Weise, Platzeinsparung. Ich habe die Tests gemacht und es siehst so aus, dass man ca. 50% vom Platz einsparen kann. Aber ich möchte zuerst fragen, ob vielleicht ihr Erfahrungen in diesem Gebiet habt - das heißt mit der Deduplizierung in einer Produktionsumgebung, mit ein paar TB auf den Festplatten, usw. Es interessiert mich, was für einen Einfluss diese Feature auf die Servereffizienz hat (wenn irgendeinen), welche potentielle Probleme auftreten können, ob das wirklich zuverlässig ist, usw.

 

Danke für alle Hinweise.

Marcin

bearbeitet 25. August 2015 von Marcin_K

[ssd_rider 2]

Ich kann dir mitgeben, dass es eigentlich sehr cool ist. Bei Laufwerken, auf denen Profile gespeichert sind wird einiges gespart. 

 

Was du vlt. beachtenmusst, ist, wenn du ein Backup von den Laufwerken mache. Die Deduplizierung arbeitet auf Blockebene.

Trotzdem kann es Probleme geben beim Backup. Das Problem hatten wir schon (bzw. immer noch). Prüfe, ob dein Backuptool die Deduplizierung unterstützt.

 

MfG

bearbeitet 25. August 2015 von ssd_rider

[GuentherH 61]

Hallo.

 

Schau doch einmal hier nach - http://www.mcseboard.de/topic/201836-deduplizierung-von-win2012/

 

LG Günther

[Marcin_K 1]

Ich habe das Backup getestet und "Windows Server Backup" schafft das problemlos. Die Software ist "bewusst", dass die Festplatte dedupliziert worden ist und macht das Backup mit allen Metadaten, also man kann es auf einem anderen 2012R2 Server wiederherstellen (die einige Voraussetzung ist, dass die Deduplizierung Feature auf dem neuen Server hinzugefügt werden muss).

 

Günther - ich habe dieses Thema tatsächlich übersehen - sorry.

 

Grüße
Marcin

bearbeitet 25. August 2015 von Marcin_K

[Dukel 457]

Du solltest dir, unabhängig von der Dedup Geschichte, überöegen die PST Files nicht auf dem Fileserver zu lagern.

[Marcin_K 1]

Das sind nur die Backups von PST Files - die originellen Files haben die Benutzer auf ihren Rechnern und machen sie sich selbst das Backup von PST zu ihren persönlichen Ordnern auf dem Fileserver.

Im Allgemeinen sind die PSTs der Alptraum von jedem Admin, manche Users haben z. B. 50GB von Daten in PST, alles ist natürlich die Wichtigste, usw. Ich versuche mein Unternehmen auf Office 365 umstellen, aber es gibt ständig verschiedene "Cloud-Zweifel"...

 

Grüße

Marcin

[Doso 77]

Hängt sehr von den Daten ab. In meiner SCVMM Library kriege ich durch dedup irgendwie 40 Prozent raus. Bei unserem Fileserver, noch 2008r2, zeigt mir das Testtool Einsparungen unter 10 Prozent. Vermutlich sind Tiff Dateien halt auf Blockebene sehr unterschiedlich, daher geht da nicht so viel.

[ssd_rider 2]

 

Ich habe das Backup getestet und "Windows Server Backup" schafft das problemlos. Die Software ist "bewusst", dass die Festplatte dedupliziert worden ist und macht das Backup mit allen Metadaten, also man kann es auf einem anderen 2012R2 Server wiederherstellen (die einige Voraussetzung ist, dass die Deduplizierung Feature auf dem neuen Server hinzugefügt werden muss).

 

Das Windows Backup Tools sollte das sicherlich hinbekommen. Ich meine aber falls du Dirttanbieter Software einsetzt.

[monstermania 53]

Das Windows Backup Tools sollte das sicherlich hinbekommen. Ich meine aber falls du Dirttanbieter Software einsetzt.

Also Veeam 7 und 8 hat auch absolut keine Probleme mit 2012/2012R2 Dedup. Es muss nur auf dem Veeam Backupserver auch der Datendeduplizierungsdienst installiert sein, was natürlich bedeutet, dass Veeam selbst auf einem 2012/2012R2 Server laufen muss  ;) !

 

Mit der Windows Backupsoftware wäre ich mir noch nicht mal so sicher. Schließlich hat MS es auch nicht hinbekommen, dass der MS eigene Indexdienst auf Deduplizierten-Partitionen funktioniert. Und das schon seit 4 Jahren nicht! :suspect:  

bearbeitet 26. August 2015 von monstermania

[Marcin_K 1]

Vermutlich sind Tiff Dateien halt auf Blockebene sehr unterschiedlich, daher geht da nicht so viel.

 

Tiff, jpg, mp3 und andere Dateien, die grundsätzlich komprimiert wurden, sind tatsächlich eher schlechte Kandidaten zur Deduplizierung. Meine Tests zeigten ca. 50% - meistens PSTs, Office-Dokumente, ISO-Dateien, usw.

 

Grüße

Marcin

Also Veeam 7 und 8 hat auch absolut keine Probleme mit 2012/2012R2 Dedup. Es muss nur auf dem Veeam Backupserver auch der Datendeduplizierungsdienst installiert sein, was natürlich bedeutet, dass Veeam selbst auf einem 2012/2012R2 Server laufen muss  ;) !

 

Mit der Windows Backupsoftware wäre ich mir noch nicht mal so sicher. Schließlich hat MS es auch nicht hinbekommen, dass der MS eigene Indexdienst auf Deduplizierten-Partitionen funktioniert. Und das schon seit 4 Jahren nicht! :suspect:  

 

 

Danke für die Hinweise. Ich benutze Windows Server Backup in vielen Fallen, ich vertraue den Native-Lösungen, obwohl jetzt, auf dem derzeitigen Fileserver es nicht möglich ist - die Festplatten sind größer als 2TB. Auch deswegen will ich diese Migration durchführen.

 

 

Grüße

Marcin

[Weingeist 159]

 

Mit der Windows Backupsoftware wäre ich mir noch nicht mal so sicher. Schließlich hat MS es auch nicht hinbekommen, dass der MS eigene Indexdienst auf Deduplizierten-Partitionen funktioniert. Und das schon seit 4 Jahren nicht! :suspect:  

 

Da würde ich mir jetzt keinen Kopf machen. Bei Datensicherheitstechnischen Dingen ist MS nach wie vor top. Bei den Nice-To-Have Features wie dem Index driftets teilweise ins Flop ab. Vielleicht ist ja ein neuer Index-Dienst auf App oder Bing-Basis geplant *hust*

[Dunkelmann 96]

Mit der Windows Backupsoftware wäre ich mir noch nicht mal so sicher. Schließlich hat MS es auch nicht hinbekommen, dass der MS eigene Indexdienst auf Deduplizierten-Partitionen funktioniert. Und das schon seit 4 Jahren nicht! :suspect:  

Windows Server Backup und Dedup harmonieren.

 

Beim Restore eines Volumes müssen nur zwei Dinge beachtet werden:

Der Dedup Rollendienst muss installiert sein und auf dem Zielvolume muss Dedup deaktiviert sein.

Durch die Wiederherstellung des Ordners System Volume Information werden die Dedup Metadaten wiederhergestellt und das OS erkennt das Volume danach als Dedup Volume.

bearbeitet 26. August 2015 von Dunkelmann

[monstermania 53]

Tiff, jpg, mp3 und andere Dateien, die grundsätzlich komprimiert wurden, sind tatsächlich eher schlechte Kandidaten zur Deduplizierung. Meine Tests zeigten ca. 50% - meistens PSTs, Office-Dokumente, ISO-Dateien, usw.

1. Dedup hat nichts mit irgendeiner Komprimierung zu tun, noch interessiert es, ob Dateien zuvor komprimiert wurden. Die Einsparungsrate von Deduplikation hängt einzig davon ab, wie viele gleichen "Datenblöcke" es auf einem Volume gibt!

Viele gleiche Datenblöcke = Viel Einsparung durch Deduplizierung.

Dass kann auch bei TIF oder mp3 eine große Einsparung bringen. Kommt ganz auf die Art/Anzahl der Dateien an... Beispiel: Du hast 100.000 TIF-Dokumente, die alle mit dem gleichen TIF-Drucker erzeugt wurden. (z.B. Ausgangsrechnungsarchiv aus der Wawi). Hier bringt Dedup sehr viel, weil es zumeist viele gleiche Datenblöcke gibt, da die Dokumente sehr ähnlich sind. 

2. das mit dem Windows-Backup und Deduplication war nur etwas Stichelei.... ;)

[Marcin_K 1]

1. Dedup hat nichts mit irgendeiner Komprimierung zu tun, noch interessiert es, ob Dateien zuvor komprimiert wurden. Die Einsparungsrate von Deduplikation hängt einzig davon ab, wie viele gleichen "Datenblöcke" es auf einem Volume gibt!

Viele gleiche Datenblöcke = Viel Einsparung durch Deduplizierung.

Dass kann auch bei TIF oder mp3 eine große Einsparung bringen. Kommt ganz auf die Art/Anzahl der Dateien an... Beispiel: Du hast 100.000 TIF-Dokumente, die alle mit dem gleichen TIF-Drucker erzeugt wurden. (z.B. Ausgangsrechnungsarchiv aus der Wawi). Hier bringt Dedup sehr viel, weil es zumeist viele gleiche Datenblöcke gibt, da die Dokumente sehr ähnlich sind. 

2. das mit dem Windows-Backup und Deduplication war nur etwas Stichelei.... ;)

 

Du hast natürlich Recht mit der Deduplizierung - ich habe das schlecht ausgedrückt.

Und wenn es um die Backup-Software geht... Ich habe ArcServer und BackupExec benutzt - leider erinnere ich mich daran nicht gut - häufige Probleme mit der Datenbank, usw. Jetzt als die "Hauptbackupsoftware", die auf dem Band das Backup macht, verwende ich HP Data Protector - das Interface ist nicht besonders schön, aber wenigstens wirksam. Und Windows Server Backup als der mittelbare Schritt für, Exchange, Hyper-V, usw. Manchmal weniger heißt besser...

 

 

Grüße

Marcin