Robocopy - Fehler in EXE-Dateien bei Multithread

[Libretto 0]

Wir nutzen Robocopy, um auf eine Vielzahl von Standorten Daten auf Networkshares per VPN zu kopieren. Bis von ca 18 Monaten gab es dabei nie Probleme. Es kam immer mal wieder vor, dass Die eine oder andere Datei mal kaputt gegangen ist aber das Problem ist jetzt, dass man es nicht an der Datei erkennen kann, da Datum, Größe, etc. alles gleich ist bis auf vielleicht das eine oder andere Bit in der Datei selbst.

EXE-Dateien laufen dann auch noch, zeigen aber dann Auffälligkeiten, so dass einige Programmfunktionen nicht mehr ordnungsgemäß laufen. Was wir wissen:

 

Das Problem ist existent:

• egal ob Windows 7 oder Windows 10
• egal ob neuste oder ältere Version
• Nur bei MultiThread (bei Singlethread anscheinend nicht)
• bei drei unterschiedlichen Computern
• Betroffen sind EXE-Files mit unseren Programmversionen

 

Der Parameter /MT wird nicht genutzt, so dass Standard "8" genutzt werden müsste

Bei 7zip-Archiven konnten wir das Problem noch nicht feststellen

 

Hat jemand eine Idee oder kennt das Problem?  

 

Gibt es ansonsten ein ähnlich mächtiges Tool auf Kommandozeilennbasis, das vom Funktionsumfang her ähnlich ist und vielleicht auch noch mit Prüfsummen arbeitet.

 

Grüße Gustav

[monstermania 53]

Moin,

ich würde es mal mit rsync bzw. cwRsync (Windows) versuchen. https://www.itefix.net/cwrsync

 

Gruß

Dirk

[BOfH_666 577]

vor einer Stunde schrieb Libretto:

 

Hat jemand eine Idee oder kennt das Problem? 

Hast Du denn verifiziert, dass es auch wirklich an robocopy liegt? Hast Du mal versucht, die betroffenen Dateien mit einem anderen Tool - notfalls einfach mit dem Windows-Explorer - zu transferieren? Es ist ziemlich unwahrscheinlich, dass robocopy nur einen bestimmten Dateityp nicht korrekt kopiert. Hast Du die Dateien in Quelle und Ziel mal per Check-Summe geprüft/verglichen? Mit Powershell Get-FileHash brauchst Du nicht mal ein externes Tool.

[NilsK 2.934]

Moin,

 

ich halte es auch für unwahrscheinlich, dass das Problem nur bei bestimmten Dateitypen auftritt. Vermutlich bemerkt man es bei den anderen Dateitypen nur nicht.

 

Wenn solche Probleme allerdings auftreten, sollte man neben einer Methode zum Entdecken auch nach den Ursachen forschen. Da ist möglicherweise irgendwas im VPN nicht okay - oder an anderer Stelle. 

 

Gruß, Nils

 

[Libretto 0]

@BOfH_666 Sequentiell ist auch das Kopieren mit Robocopy es kein Problem aber sobald es im Multithread läuft kann es passieren, dass von 50 Dateien 3-5 Bitfehler in die Datei bekommen. Ein bestimmter Dateityp muss nicht sein aber 7Zip Dateien als BEISPIEL BISHER machte noch nicht das Problem. Die Checksummen der Dateien sind unterschiedlich aber Robocopy selber interessiert sich ja nicht für Checksummen. Wäre ja nicht schlimm, wenn die Datei bei einem fehlerhaften Kopiervorgang eine andere Größe (0 Byte) oder ein falsches Datum hätte aber so ist es auf den ersten Blick erst einmal nicht direkt auszumachen.

 

Der Explorer würde es ja auch erst einmal nur sequentiell abarbeiten, was keine Probleme mit sich bringt.

 

Wir hatten ggf. eine Switch im Verdacht aber das Problem bestand nach einem Tausch weiterhin. Kann aber auch an einem Update von MS liegen oder Probleme bei der Übertragung auf mehrere IPSEC-Tunneln.

 

vor 16 Minuten schrieb NilsK:

Da ist möglicherweise irgendwas im VPN nicht okay - oder an anderer Stelle. 

 

Gruß, Nils

 

Wir nutzen IPFire und unsere Klienten die Digitalisierungsboxen der Telekom. das machen wir aber auch schon deutlich länger ohne Probleme. Der Verdacht ist uns auch schon gekommen. Vielleicht betrifft es auch vor allem Dateien, die - von wem auch immer - bei der Übertragung komprimiert werden, weshalb das Problem bei den sehr stark gepackten 7Zip-Dateien vielleicht nicht auftritt, da es da nichts mehr zum komprimieren gibt. Ausschließen wollten wir nur, dass es sich vielleicht um ein allgemeines Problem handelt im Zusammenhang mit Robocopy... Die Fehlersuche ansonsten dürfte hart werden, zumal aufgrund von Sicherheitsupdates Rückschritte innerhalb der IPFire VPN Schnittstelle ebenfalls keine Option sind.

[NilsK 2.934]

Moin,

 

naja, dann - intensiv beobachten und prüfen. Ein Weg über die PowerShell wurde dir schon genannt, eine andere Variante wäre fciv, was du bei Microsoft herunterladen kannst.

 

Wie gesagt, einen Fehler in robocopy würde ich erst mal nicht vermuten, das wird so viel eingesetzt, dass man davon sicher gehört hätte. Ausschließen kann man aber erst mal nix. Deine Überlegungen bezüglich der Komprimierung sind vielleicht gar nicht abwegig, aber das müsste man sicher intensiv strukturiert durch Tests überprüfen.

 

Gruß, Nils

 

bearbeitet 5. März 2020 von NilsK

[BOfH_666 577]

vor 58 Minuten schrieb Libretto:

@BOfH_666 Sequentiell ist auch das Kopieren mit Robocopy es kein Problem aber sobald es im Multithread läuft kann es passieren, dass von 50 Dateien 3-5 Bitfehler in die Datei bekommen.

Ist der Performance-Gewinn durch die /MT Option denn wirklich so hoch, dass ihr darauf nicht verzichten könnt/wollt?

[Dukel 454]

Was ist das für ein VPN? Ist ein WAN Beschleuniger im Einsatz?

Ich glaube auch nicht, dass es an Robocopy liegt.

bearbeitet 5. März 2020 von Dukel

[tesso 375]

Ich dachte als erstes an Virenscanner. 

[Libretto 0]

Zum VPN: IPFire arbeiten mit StrongSwan als VPN Gateway (alles über IPSec IKE 2)

 

Zum Virenscanner: Virenscanner ESET war testweise aus und Defender auch. Gleiches Ergebnis.

 

Zu Übertragung: Robocopy wird MEHRFACH (bis zu 10x) gestartet und überträgt dann ZEITGLEICH Daten auf 10 Standorte, was also bei einer Standard Multithread Einstellung (OHNE die Option /MT = 8 ) zeitgleich bis zu 80 Dateiübertragungen bedeutet.

 

Gab früher nie Probleme...Danke erst mal an Alle...

 

[NilsK 2.934]

Moin,

 

naja, merkst du doch selbst oder? Relevant wäre jetzt, was "früher" war und was sich zwischen "früher" und "jetzt" geändert hat. Das gäbe zumindest Anhaltspunkte, wo das Problem zu suchen wäre.

 

Gruß, Nils

 

[BOfH_666 577]

vor 26 Minuten schrieb Libretto:

was also bei einer Standard Multithread Einstellung (OHNE die Option /MT = 8 ) zeitgleich bis zu 80 Dateiübertragungen bedeutet.

Hmmmm ... das glaube ich nicht. Ohne die Option /MT läuft robocopy im Single Thread Modus. Mit Option /MT aber ohne Angabe einer Anzahl werden 8 Threads bentutzt. Mit der Option /MT mit einer Zahl zwischen 1 und 128 werden die angegebenen Threads benutzt. Jedenfalls laut der robocopy Hilfe.

[daabm 1.354]

Ich glaub auch nicht, daß Robocopy was damit zu tun hat. Eher eine Überlast an einer der beteiligten Netzwerkkomponenten... Und wenn ich VPN höre: Ich hab's vor vielen Jahren auch mal geschafft, nen VPN-Knoten lahmzulegen. Die Effekte sind - hm - "lustig"