unendlich fragmentierte Dateien auf Fileserver, miese Performance

[markus.angerer 10]

Hallo,

 

ich hab hier ein Phänomen das ich mir nicht recht erklären kann: Auf einem neuen HP DL180 G5 Server mit 4 SATA Platten als RAID 5 Verbund hab ich 2 Partitionen mit 50GB und ca. 2,25 TB.

Darauf hab ich Win Server 2003 x64 mit SP2 installiert. 2 GB Ram.

 

Ziel war es auf der grossen Partition die Sicherungen (mittels NTBackup) von einigen anderen PCs und Servern zu sammeln und sie dann auf Band zu sichern. Einige dieser *.bkf Dateien werden bis zu 44 GB gross und bestehen dann aus über 602000 (!) Fragementen.

 

Alle aktuellen Treiber von HP und alle Win Updates hab ich installiert.

 

Hat irgendwer eine Idee in welche Richtung ich hier suchen könnte? Sind Partitionen mit dieser Grösse problematisch?

 

Vielen Dank schonmal für jeden Hinweis,

 

Gruss, Markus

 

PS. Was mir aufgefallen ist, wenn ich Dateien auf den Server kopiere:

Die ersten 1,5 GB Daten kommen recht flott an (ca. 60% Netzwerkauslastung der 1GBit Netzwerkkarte) aber dann ist scheinbar der Cache von Windows voll, die Netzwerktransferleistung geht auf ca. 1% runter und es geht kaum mehr was vorwärts. Wenn er irgendwann doch fertig wird ist die Datei so fragmentiert - ich vermute die schlechte Schreib- und Leseperformance liegt daran?!

[djmaker 95]

Folgende Punkte solltest Du prüfen und ggf. korrigieren:

 

-Schreibcache des RAID-Controllers aktivieren und korrekt konfigurieren

-wenn Du ausschließlich sehr große Dateien speicherst kannst Du bei der Formatierung des NTFS-Laufwerks Clustergrößen von 8192 KB wählen, das bringt Performance durch verminderten Verwaltungsaufwand im Dateisystem

-Du solltest im Raiid-Controller eventuell die gleiche Stripsize wie die NTFS-Clustergröße einstellen

 

Die Vermutung mit dem Vollaufen des Caches ist übrigens korrekt. Manchmal beheben auch neuere Treiber und Firmware-Updates diverse Performance- Bugs.

[markus.angerer 10]

Hallo djmaker,

 

Der Cache des Controllers (128 MB) ist aktiv und momentan auf 50% lesen, 50% schreiben eingestellt. Das war Default, und ich dachte damit mach ich erstmal nix verkehrt.

 

Cluster- und Stripe- Grössen werd ich morgen gleich mal überprüfen und ggf. anpassen.

 

Firmware Updates und Treiber sind leider auch schon die neuesten drauf, das war mein erster, hilfloser Versuch :(

 

Danke jedenfalls!

[markus.angerer 10]

Das war ein total dämliches, selbstgemachtest Problem:

 

Einige, unter anderem die betroffenen Dateien, waren NTFS komprimiert und das erzeugt die vielen Fragmente.

 

Vermutung: die Datei kommt als Datenstrom übers Netz und immer wenn ein Block voll ist beginnt NTFS mit der komprimierung. Gleichzeitig werden aber am Blockende die weiterhin ankommenden Daten abgespeichert. Wenn die Komprimierung fertig ist entsteht eine Lücke zwischen dem ursprünglichen und dem folgenden Datenblock.

 

Keine Ahnung ob das tatsächlich so ist, würde mir aber einleuchten da nicht komprimierte Dateien nur wenig fragmentiert sind.

 

Immerhin werden Dateien jetzt wieder mit ordentlichen 50 statt 3 MB/sec gelesen.

 

Gruss, Markus

[Dr.Melzer 191]

Danke für das Feedback.

 

Auf den Effekt mit der Komprimierung muss man erst einmal kommen.

[NilsK 2.918]

Moin,

 

wenn die Datei direkt beim Neuschreiben komprimiert wird, sollte so ein Effekt eigentlich nicht auftreten. Was aber "tödlich" ist, ist das nachträgliche Komprimieren von Dateien - dabei treten derartige Vorgänge durchaus auf, weil die vorhandenen Daten nachträglich in komprimierter Form quasi an dieselben Stellen geschrieben werden.

 

Da du derartige Komprimierungsfragmente vermutlich schon hattest und auch insgesamt wahrscheinlich schon starke Fragmentierung vorhanden war, können auch neue komprimierte Dateien verstärkt fragmentiert werden, weil einfach nur noch wenig freier Platz am Stück vorhanden ist.

 

Gruß, Nils

[Windowsbetatest 10]

Hallo,

 

die NTFS Kompriemierung erfolgt so, es werden 16 Cluster (64 KB) unkomprimiert geschrieben und dann komprimiert. Danch werden die entsprechenden Cluster wieder aufgefüllt und es entsteht die Lücke.

Dies geht so weiter.

 

Nur ein Beispiel:

 

Eine 44 GB Datei mit 4400 Fragmenten hat eine durchschnittliche Fragmentgröße von 10 MB, was noch kein Problem (Performanceeinbruch) bewirkt.

 

mfg

[Poison Nuke 10]

werden die Backups inkrementell auf dem Server gespeichert oder wird die fertige bkf Datei nur noch kopiert? Weil bei dem inkrementellen Backup sind extrem viele Fragmente nichts ungewöhnliches. Nur beim Kopieren sollten sie eigentlich am Stück geschrieben werden.