Performanceprobleme mit kleinen Dateien

[günterf 45]

Hi!

 

@Sarek

 

Schreien hilft Dir auch nicht!

 

Deine Versuche mit dem " Musterprofil " ist für uns nicht relevant, da wir keine Hardware Informationen haben.

 

Welche Server haben ein RAID, welche nicht?

Welche Festplatten usw.....

 

Da Du ja festgestellt hast, auf anderen Servern mit 2008 werden die Daten ungefähr in der gleichen Zeit kopiert, scheint ja alles normal zu laufen.

 

Was ich nicht verstehe, warum werden diese Profildaten überhaupt kopiert?

 

Ich kann auf der anderen Seite nur hoffen das Deine Datensicherung funktionsfähig ist!

[Sarek 11]

Hallo Moderator,

 

Schreien hilft Dir auch nicht!

 

Sorry, aber nach der allgemein üblichen Netiquette gelten Großbuchstaben als SCHREIEN, nicht Fettschrift. Irgendwie muß man wichtige Textpassagen ja wohl hervorheben dürfen.

 

 

Deine Versuche mit dem " Musterprofil " ist für uns nicht relevant, da wir keine Hardware Informationen haben.

 

OK, da kann ich nachhelfen:

 

Das ist unser Server:

Systembezeichnung:	HP ProLiant ML115 G5
CPU:			Opteron 1354 (4x 2,2 GHz)
Speicher:		4096 MB  DDR2
Quellfestplatte:	Western Digital WD20 EARS-00J2GB0
Zielfestplatte:		GB0 160EA PRR
RAID:			nicht verwendet 
Betriebssystem:		Windows Server 2008 R2 Standard (64 Bit)

Kopiergeschwindigkeit des Musterprofils ohne Virenwächter:	58 Sekunden

 

 

Und das ist der Vergleichsserver:

Mainboard:		Asus P4P800-X
CPU:			Pentium4 (1x 1,6 GHz)
Speicher:		1536 MB  DDR
Quellfestplatte:	Samsung HD501LJ
Zielfestplatte:		Samsung HD401LJ
RAID:			nicht verwendet
Betriebssystem:		Windows Server 2003 Standard (32 Bit)

Kopiergeschwindigkeit des Musterprofils ohne Virenwächter:	40 Sekunden

 

 

Da Du ja festgestellt hast, auf anderen Servern mit 2008 werden die Daten ungefähr in der gleichen Zeit kopiert, scheint ja alles normal zu laufen.

 

Richtig, "auf den anderen Servern mit 2008" ... es kann doch nicht angehen, daß das Kopieren von Daten auf einem provisorisch eingerichteten Server auf einem Uralt-PC mit 1600 MHz, 1536 MB RAM mit einem 32Bit-Serverbetriebssystem deutlich schneller geht, als auf einem aktuellen dedizierten Server mit 4x2200 MHz, 4096 MB RAM und dem aktuellen 64Bit-Serverbetriebssystem.

 

 

Was ich nicht verstehe, warum werden diese Profildaten überhaupt kopiert?

 

Da hilft es, wenn man den Thread von Anfang an liest. Es ist ein Test, um den am Anfang beschriebenen Performanceproblemen auf die Spur zu kommen, die sich eben vor allem bei der Benutzeranmeldung zeigen, wo das servergespeicherte Profil vom Server geladen wird. Wir haben im Laufe des Thread ja bereits festgestellt, daß das Fehlen eines RAID eine der Ursachen sein wird. Aber das erklärt nicht, warum der Uralt-Server (ebenfalls ohne RAID) offenbar eine bessere Performance hat.

 

 

Ich kann auf der anderen Seite nur hoffen das Deine Datensicherung funktionsfähig ist!

 

Ist sie, und Ausfallsicherheit ist wie gesagt nicht das Top-Thema bei uns :)

bearbeitet 26. September 2011 von Sarek

[djmaker 95]

Hallo Sarek,

 

ich habe mir mittlerweile selber ein Script gebaut:

 

For /l %%n in (1,1,10000) do echo %time% >> "d:\test\test%%n.txt"

 

Unter w2k3 (virtueller Server unter VMWare auf einem RAID5): 10 Sekunden

 

Unter w2k8R2 (virtueller Server unter VMWare auf einem RAID10): 20 Sekunden

 

Die Tests liefen jeweils mit deaktivierten Virenschutz.

 

EDIT Heim-PC Win7 64 Bit:

 

Intel-SSD: 11 Sekunden

 

Samsung HD103SJ (1 TB / 7.200 RPM): 9 Sekunden

 

EDIT 2: Das habe ich gerade gefunden. http://support.microsoft.com/kb/981208, der Hotfix ist allerdings im SP1 enthalten, meine getesteten Maschinen waren alle aktuell.

 

EDIT 3: SP1 Updates und Hotfixes: http://www.microsoft.com/downloads/info.aspx?na=46&SrcFamilyId=61924CEA-83FE-46E9-96D8-027AE59DDC11&SrcDisplayLang=de&u=http%3a%2f%2fdownload.microsoft.com%2fdownload%2f5%2f4%2fD%2f54DF9302-28BE-4875-AE3E-F4559DB55B6C%2fUpdates+in+Win7+and+WS08R2+SP1.xls

bearbeitet 26. September 2011 von djmaker

[Sarek 11]

ich habe mir mittlerweile selber ein Script gebaut:

 

For /l %%n in (1,1,10000) do echo %time% >> "d:\test\test%%n.txt"

 

Unter w2k3 (virtueller Server unter VMWare auf einem RAID5): 10 Sekunden

 

Unter w2k8R2 (virtueller Server unter VMWare auf einem RAID10): 20 Sekunden

 

Nette Werte!

 

Auf unserem Server brauchte das Script bei abgeschaltetem Virenschutz 177 Sekunden, auf dem in Post#17 beschriebenen Vergleichsserver lediglich 27 Sekunden. Wieder lautet die Frage: Warum ist so eine alte Gammelkiste schneller als unser Server 2008 R2 x64?

 

 

EDIT 2: Das habe ich gerade gefunden. Poor performance when you transfer many small files on a computer that is running Windows 7 or Windows Server 2008 R2, der Hotfix ist allerdings im SP1 enthalten, meine getesteten Maschinen waren alle aktuell.

 

Dieses Update ist hier nicht installiert, kam also offenbar nicht per automatischer Updatefunktion. Das könnte natürlich ein Grund sein. Wir spielen heute nachmittag das SP1 ein, dann schauen wir noch mal.

 

 

Eine andere Frage zum gleichen Thema: HP bietet für unseren Server keine Treiberupdates an. Laut SIW hat das Board aber einen "nForce 570 SLI"-Chipsatz. Auf der nVidia-Seite gibt es dafür neue Treiber, allerdings nicht für Server 2008 R2, wohl aber für Windows 7 x64. Im Kern ist das meines Wissens das gleiche Betriebssystem. Kann ich die Treiber bedenkenlos auf unserem Server installieren? Da wäre nämlich auch eine höhere Version des SATA-Treibers bei.

[Maerad 15]

Mir fallen da noch ein paar Sachen ein, warum es diese Probleme gibt:

 

1. Ist AHCI aktiv und läuft? SATA Platten in dieser Größe brauchen das wegen NCQ usw. (Sollte SIW anzeigen können)

2. Hängt die HDD an einem Raid oder ist als Raid aktiviert? Bei uns war z.B. mal der SATA Raid im Bios aktiv, nur eine Platte drin und kein Schreibcache ... SEHR SEHR langsam.

3. Defragmentieren! Wenn es viele unterschiedliche Verzeichnisse mit vielen kleinen Dateien bei einer 4k Blockgröße sind, wäre dies mal die beste Möglichkeit zum Aufräumen. Wenn 5 Nutzer den Rechner hochfahren, die Profile gelesen werden müssen und der Lesekopf eine 20 kbyte Datein in 20 Sektoren auf der Platte bunt verteilt ansteuern muss, dauert das sehr lange ...

4. Wieviele Nutzer greifen gleichzeit drauf zu, wieviele Anwendungen usw.? Was sagt der Prozessmonitor? Grundsätzlich ist die HDD höchstens als Datenlaufwerk ALLEINE geeignet (Partitionen Programme usw.?), wo auch nur ab und an auf etwas zugegriffen wird. Sobald z.B. Programme usw. darauf zugreifen und mehrere Nutzer, packt es die Platte einfach nicht mehr. Hat ja seinen Grund, warum in Servern 4 HDD im Raid5 mit je 15k u/min genutzt werden - und das nicht nur wegen Ausfallsicherheit.

 

Wenn AHCI aktiv ist bzw. ihr das aktiv schaltet, die HDD's defragmentiert sind usw. und es greifen doch mehrere Systeme darauf zu, empfehle ich den Einbau einer baugleichen Platte und den Aufbau eines Raid0 per Onboard SATA Controller (falls das Ding einen hat). Damit hast du die Geschwindigkeit verdoppelt - beste wäre natürlich ein SATA Raid 5 od. 10 mit 4 Platten, aber denke, das dafür das Geld nicht da ist (obwohl 60€/HDD nicht soo wild wäre)

 

Was den Treiber angeht - sollte laufen, setze hier auch ab und an Win7 x64 Treiber und 2k8 R2 ein.

 

[Edit]

Raid geht: 4 Port SATA controller with Embedded RAID on Motherboard (RAID 0, 1, 5)

 

Vermute damit, das beide HDD am SATA angeschlossen sind per RAID und kein Schreibcache - schau mal ob du auf AHCI umstellen kannst. Installier aber vorher den AHCI Treiber! Windows zickt da ansonsten etwas rum :)=

[zahni 550]

So ähnlich hatte ich das auch schon geschrieben...

[Maerad 15]

So ähnlich hatte ich das auch schon geschrieben...

 

So ähnlich ist aber nicht gleich ;)

 

Du hattest ja auf den 4k-Block Error verwiesen und halt auch fehlendes AHCI, mir gings aber mal um die Defragmentierung (bei einem Kunden von uns massiv was ausgemacht damals - läuft ja auch beim Server nicht standardmässig) und halt das im Bios nicht nur das AHCI nicht aktiviert ist, sondern auch der Chip auf "Raid" steht. Je nach Bios muss man den Raid aktivieren und dann "Raid" oder "AHCI" auswählen, ansonsten läuft das per "Enhanced IDE" oder ähnlich.

 

Kommt halt auch wieder auf Bios und Hersteller an. Und da könnte es halt sein, das Raid aktiv ist, kein Raid kreiert und das Ding damit auch ohne Buffer usw. läuft > Ergo ars***langsam.

 

Wurde eh schon sehr viel geschrieben, aber der massive Unterschied zwischen beiden Rechnern ist etwas zu krass. So schlimm wars bei uns nicht mal mit dem 4k error :)

[zahni 550]

Wie gesagt, hatte ich geschrieben. Eine Defragmentierung bringt bei kleinen Dateien nicht wirklich was.