Dateien migrieren mit welchen tool?

[goat82 2]

Hallo Zusammen,

 

wir haben eine Applikation welche Dokumente auf einem Fileserver nutzt (ca. 300GB, 1 Mio Daten)!

Die Applikation soll in eine komplett neue Umgebung und Niederlassung neu aufgesetzt werden.

VPN Verbindung steht.

Die Datenbank der Applikation wurde erfolgreich auf dem neuen Applikationsserver aufgesetzt

 

Zielsetzung: Nun muss der Dokumentenordner ebenfalls migiriert werden.

Aufgrund der hohen Datenmenge muss die Migration an einem Wochenende laufen.

Wie bekomme ich die vielen Daten migriert?

Am liebsten hätte ich gerne ein Tool wie DFS welches einmalig ein Vollsync macht und dann je nach Bedarf ein Deltasync.

Ich denke nicht das ich via SMB oder robocopy an einem Wochenende die gesamte Datenmenge über eine 40MBit Uploadleitung migriert bekomme, daher frage ich alle nach einer professionellen Lösung welche auch Deltasnc machen kann.

 

Hat jemand eine passende Idee ?

 

LG Goat

 

 

[Dukel 457]

Robocopy kann auch Inkrementell kopieren.

D.h. vor der Migration ein- oder mehrmal (je nach Änderungsrate der Daten) die Daten kopieren und am Migrationswochenende den Rest.

[NilsK 2.968]

Moin,

 

ja, robocopy ist das Tool der Wahl für sowas. Das von Dukel beschriebene Verfahren kriegt man damit sehr gut hin. Außerdem kann robocopy (als eins von wenigen Tools) auch Daten kopieren, auf die der Admin eigentlich gar keine Rechte hat (Schalter /B). Und es hat auch eine Bandbreitensteuerung, ist für das VPN-Szenario also auch gut geeignet.

 

Gruß, Nils

 

[mwiederkehr 384]

Robocopy kann inkrementell im Sinne von "nur geänderte Dateien" kopieren. Wenn einzelne Dateien nicht allzu gross sind, ist es das Tool der Wahl.

 

Bei sehr grossen Dateien, die man inkrementell im Sinne von "nur geänderte Blöcke" kopieren muss, würde ich rsync nehmen. Das bedeutet (unter Windows) aber mehr Aufwand.

[MrCocktail 195]

Hi,

 

auch hier im ersten Schritt Robocopy, kann alles was du brauchst, wenn du ein grafisches Tool willst, vielleicht AllwaySync anschauen.

 

Gruß

J

[goat82 2]

ok Danke an Alle. Dann werde ich mich mal wegen dem Inkrementellen usw. auf die Recherche machen. Robocopy ist ja sehr komplex

[mwiederkehr 384]

vor 7 Minuten schrieb goat82:

Robocopy ist ja sehr komplex

Als Tipp für den Anfang die Parameter, die ich jeweils setze:

robocopy /e /v /mir /copyall /b /efsraw /XJ /r:0 /w:0 /tee /log:c:\temp\robocopy_log.txt \\quelle\d$\Daten D:\Daten

Erklärung:

/e: Unterverzeichnisse kopieren, inkl. leeren Verzeichnissen

/v: ausführliche Ausgabe

/mir: Dateien spiegeln (in Quelle nicht vorhandene Dateien werden in Ziel gelöscht)

/copyall: alle Dateiattribute (Schreibgeschützt, Archiv, Sicherheitsinformationen, Besitzer etc.) kopieren

/b: im Backup-Modus kopieren (damit können auch sonst nicht zugängliche Dateien wie Benutzerprofile kopiert werden)

/efsraw: EFS-Dateien kopieren, ohne sie zu entschlüsseln (funktioniert sonst nicht, wenn der ausführende Benutzer keinen Schlüssel hat)

/XJ: Links nicht folgen (sonst Endlosschleife bei "App Data" im Profil)

/r:0: keine Wartezeit bei Fehlern

/w:0: keine Wiederholung bei Fehlern

/tee: Ausgabe auf Shell und in Logdatei

 

Damit habe ich schon manchen Server migriert.

 

Ein Knackpunkt bei Dir könnte die sehr grosse Anzahl der Dateien sein, welche abgeglichen werden muss über die schmale Leitung. Bei sehr vielen Dateien dauert das Vergleichen seine Zeit, auch wenn schlussendlich nur wenige Dateien kopiert werden müssen. Das findest Du mit einem Testlauf aber schnell heraus.

[Gu4rdi4n 62]

mal dumm gefragt:

 

wäre es hier nicht auch möglich mit einem Backuptool die platte zu klonen, dann dort hin zu fahren, das ganze einmal einzuspielen und alles weitere mit robocopy zu machen?

 

Da würdest du für den ersten Sync die schmale Leitung umgehen und  vorallem auch Fehlern bei der Übertragung vorbeugen

 

Ich würde am Ende auf jeden Fall noch die md5 checksums prüfen wenn die Daten von rechtlicher Relevanz sind

[daabm 1.366]

Ja, wäre es. rsync wäre dann natürlich wieder besser, weil es nur blockbasierte Unterschiede überträgt statt kompletter Dateien - dafür ist halt der Aufwand höher für den Bereitsteller...

 

Das mit den Checksummen kann man sich sparen, wenn man das nur mit seinen eigenen Daten macht - ich wüßte nicht, wann da mal wirklich was großartig schief ging. Aber ja, rechtlich relevant mag ein Argument dafür sein

[Gu4rdi4n 62]

vor 8 Stunden schrieb daabm:

Ja, wäre es. rsync wäre dann natürlich wieder besser, weil es nur blockbasierte Unterschiede überträgt statt kompletter Dateien - dafür ist halt der Aufwand höher für den Bereitsteller...

 

Das mit den Checksummen kann man sich sparen, wenn man das nur mit seinen eigenen Daten macht - ich wüßte nicht, wann da mal wirklich was großartig schief ging. Aber ja, rechtlich relevant mag ein Argument dafür sein

Bzw wäre es auch wesentlich sinnvoller, wenn man die 300gb an Daten zusammenpackt in ein 7z paket oder ähnlichem.

Denn eine große Datei lässt sich schneller übertragen als eine Millionen 300 kb Dateien :)

 

Das mit der Rechtlichen Relevanz ist mE schon wichtig. Wenn du mal einen Rechnungsprüfer da hast, der Rechnung X sehen will und die dann nicht funktioniert, weil kaputt, bist du erstmal der Schuldige.

[Nobbyaushb 1.484]

Wir hatten mal eine ähnliche Aufgabe.

 

Vernünftige extern Platte an den Server gehängt und lokal kopiert

 

Da ein Mitarbeiter eh von der NL zu uns gefahren ist, hat diese die Platte mitgenommen - sonst wäre ein Versand mit TNT oder einem andern zuverlässigen Versender in Frage gekommen

 

My2Cents

[Gu4rdi4n 62]

Selbst MS bietet diesen Service für Migrationen zur Cloud an.

Man schickt denen die Platten und die spielen es dann ein.