michelo82 12 Geschrieben 3. Januar 2014 Melden Teilen Geschrieben 3. Januar 2014 (bearbeitet) Hallo, wir haben in unserer Struktur momentan arge Performance Probleme. Ich vermute, dass die Host-Server ausgelastet sind. Kurz zur Umgebung: Virtualisierer 1: HP DL580 G5 mit 4x Sockel Xeon Quadcore E7340 und 94GB RAM. Darauf laufen momentan: Datenbankserver 4x Kerne Datenbankserver 4x Kerne Datenbankserver 2x Kerne Datenbankserver 4x Kerne Datenbankserver 4x Kerne DC 1x Kern Firewall 1x Kern Buildserver 2x Kerne Terminalserver 1 (im Cluster) 8x Kerne Terminalserver 2 (im Cluster) 8x Kerne Terminalserver Sitzungsbroker 2x Kerne Terminalserver Einzeln 4x Kerne Terminalserver Einzeln 6x Kerne Gesamt: 50 vCPU's Virtualisierer 2: HP DL580 G5 mit 4x Sockel Xeon Quadcore E7340 und 88GB RAM. Darauf laufen momentan: Fileserver 4x Kerne Sharepoint 4x Kerne Exchange 4x Kerne Buildserver 4x Kerne Terminalserver Einzeln 4x Kerne Fileserver 4x Kerne Datenbanlserver 8x Kerne Buildserver 4x Kerne Buildserver 4x Kerne Testsystem 4x Kerne Gesamt: 44 vCPU's Die Hyper-V VM's liegen auf einen MSA 2212fc (RAID 5) und einen MSA P2000 G3 (RAID 5) verteilt welche über Fibre-Channel angebunden sind. Hier der Durchsatz in einer VM gemesen auf dem P2000: ----------------------------------------------------------------------- CrystalDiskMark 3.0.2 x64 (C) 2007-2013 hiyohiyo Crystal Dew World : http://crystalmark.info/ ----------------------------------------------------------------------- * MB/s = 1,000,000 byte/s [SATA/300 = 300,000,000 byte/s] Sequential Read : 444.681 MB/s Sequential Write : 368.312 MB/s Random Read 512KB : 380.729 MB/s Random Write 512KB : 298.695 MB/s Random Read 4KB (QD=1) : 11.738 MB/s [ 2865.7 IOPS] Random Write 4KB (QD=1) : 8.504 MB/s [ 2076.2 IOPS] Random Read 4KB (QD=32) : 85.026 MB/s [ 20758.4 IOPS] Random Write 4KB (QD=32) : 48.139 MB/s [ 11752.7 IOPS] Test : 50 MB [F: 58.2% (116.3/200.0 GB)] (x5) Date : 2014/01/03 19:46:52 OS : Windows Server 2008 R2 Server Standard Edition (full installation) SP1 [6.1 Build 7601] (x64) und Hier auf dem 2212fc: ----------------------------------------------------------------------- CrystalDiskMark 3.0.2 x64 (C) 2007-2013 hiyohiyo Crystal Dew World : http://crystalmark.info/ ----------------------------------------------------------------------- * MB/s = 1,000,000 byte/s [SATA/300 = 300,000,000 byte/s] Sequential Read : 272.845 MB/s Sequential Write : 161.738 MB/s Random Read 512KB : 232.163 MB/s Random Write 512KB : 177.136 MB/s Random Read 4KB (QD=1) : 8.834 MB/s [ 2156.8 IOPS] Random Write 4KB (QD=1) : 5.298 MB/s [ 1293.5 IOPS] Random Read 4KB (QD=32) : 52.541 MB/s [ 12827.4 IOPS] Random Write 4KB (QD=32) : 21.202 MB/s [ 5176.4 IOPS] Test : 50 MB [E: 11.6% (5.8/50.0 GB)] (x5) Date : 2014/01/03 19:46:22 OS : Windows Server 2012 Datacenter Edition (Full installation) [6.2 Build 9200] (x64) Gerade die vCPU's der Terminalserver im Cluster (je 8x Kerne) sind sehr ausgereizt. Auf beiden arbeiten jeweils 7-8 Mitarbeiter (Outlook, Sharepoint, Webbrowser, Office, Estos-Telefonmonitor, Kundendatenbank und interne Tools die auf SQL-Server zugreifen). Auch der (Haupt)-Datenbankserver (SQL Server 2008 Standard) auf dem die Kundendatenbank, interne Tools und das Monitoring der Telefonanlage (Estos) ist permanent zu 50 Prozent ausgelastet. Die physichen CPU's der Virtualisierer 1 sind im Tagesbetrieb ca. zu 70% und beim Virtualisierer 2 zu ca. 50% dauerhaft ausgelastet. Meine Frage ist wie ich den Flaschenhals finde? Sind einfach schlichtweg zuviel vCPU's zugteilt? Das Verhältnis physischer Kerne zu virtuellen ist ja bei ca. 1:3. Wie komme ich der Bremse auf die Schliche? bearbeitet 3. Januar 2014 von michelo82 Zitieren Link zu diesem Kommentar
zahni 554 Geschrieben 3. Januar 2014 Melden Teilen Geschrieben 3. Januar 2014 Also als 1. Man konfiguriert nicht mehr vCPU's als ein phy. Prozessor Cores hat. Reduziere die mal auf 2 pro VM Die CPU's sind Müll. Erscheinungsdatum: 2007. Wie viel RAM ist den einzelnen VM's zugewiesen ? -Zahni Zitieren Link zu diesem Kommentar
NeMiX 76 Geschrieben 3. Januar 2014 Melden Teilen Geschrieben 3. Januar 2014 Wie zahni schon sagte hast du sehr alte CPUs, und zuviele Kerne verteilt. Wieviel IO macht Ihr den bzw. schiebt Ihr zu den MSAs und wieviele HDDs sind da drin? Raid5 ist auch nicht gerade optimal, wenn Ihr da wirklich alles drüber laufen lasst in einem großen Raid. Zitieren Link zu diesem Kommentar
Dunkelmann 96 Geschrieben 4. Januar 2014 Melden Teilen Geschrieben 4. Januar 2014 Moin, bei Anzahl an vCPUs und Datenbankservern wären CPU Queue und Disk Queue meine ersten Ansatzpunkte. Ich würde mir bei beiden mal die Warteschlange und bei der Disk zusätzlic die Latenz anschauen. Im 2012'er Dokument gibt es auch ein Kapitel zu Hyper-V: http://msdn.microsoft.com/en-us/library/windows/hardware/dn529134 Zitieren Link zu diesem Kommentar
michelo82 12 Geschrieben 6. Januar 2014 Autor Melden Teilen Geschrieben 6. Januar 2014 Also als 1. Man konfiguriert nicht mehr vCPU's als ein phy. Prozessor Cores hat. Reduziere die mal auf 2 pro VM Die CPU's sind Müll. Erscheinungsdatum: 2007. Wie viel RAM ist den einzelnen VM's zugewiesen ? Den einzelnen VM's sind zwischen 2 GB und 8GB RAM zugewiesen, teilweise auch Dynamisch. Eben je nachdem wieviel gebraucht wird. Auf dem Host 1 sind nur 43% aktuell belegt, auf dem Host 2 67%. Ja die Server sind schon alt. Wir überlegen auf ein Bladecenter HP C3000/C7000 umzusteigen. Wieviel IO macht Ihr den bzw. schiebt Ihr zu den MSAs und wieviele HDDs sind da drin? Raid5 ist auch nicht gerade optimal, wenn Ihr da wirklich alles drüber laufen lasst in einem großen Raid. Das alte MSA 2212FC hat 6x 2TB SEAGATE ST32000444SS (SAS) Platten im RAID 5 Verbund. Das neuere P2000 hat 6x 2TB SEAGATE ST2000NM0001 (SAS) Platten auch RAID 5. Der Speicher ist als Cluster-Storage im Hyper-V Cluster eingebunden. Die VM's liegen auf beiden MSA's zur Lastenaufteilung verteilt. Wäre ein RAID 10 für die VHD's besser? Mit welchem Tool kann ich den I/O sinnvoll messen? Zitieren Link zu diesem Kommentar
Dunkelmann 96 Geschrieben 6. Januar 2014 Melden Teilen Geschrieben 6. Januar 2014 Moin, bei der Plattenkonfiguration wundert es mich nicht, dass die Umgebung lahmt. Mit RAID10 wirst Du vermutlich nichts gewinnen. Da wird nur ein gespiegeltes Stripeset über 3 Spindeln gebaut. Bei RAID5 hast Du wenigstens ein Stripe über alle 6 Platten - sofern keine Spare definiert ist. 6x 7.2k ist IMHO absolut ungeeignet für die Anzahl an VMs und Datenbanken. Zwei lahme Arrays und manuelles hin und her schieben der VMs machen es nicht besser. Ich kenne die HP Arrays nicht. Eventuell lassen die sich noch mit 15k SAS oder SSD als Fast-Tier nachrüsten. Wenn nicht, solltet Ihr dringend auf Einkaufstour gehen. Vielleicht auch mal ein Systemhaus mit Storage- und Datenbank Erfahrung hinzuziehen. Ich nutze gerne IOMeter für die Platten. Dabei definiere ich mehrere Worker, die in etwa dem entsprechen, was in der Umgebung läuft. Im Tagesgeschäft solltest Du aber vorsichtig sein, die IO Last der Messung kann die Produktivumgebung negativ beeinflussen. Zitieren Link zu diesem Kommentar
michelo82 12 Geschrieben 6. Januar 2014 Autor Melden Teilen Geschrieben 6. Januar 2014 Moin, bei der Plattenkonfiguration wundert es mich nicht, dass die Umgebung lahmt. Aber was micht wundert, dass die Werte mit Crystal Disk Mark ja nicht schlecht aussehen. Zitieren Link zu diesem Kommentar
Dunkelmann 96 Geschrieben 6. Januar 2014 Melden Teilen Geschrieben 6. Januar 2014 Aber was micht wundert, dass die Werte mit Crystal Disk Mark ja nicht schlecht aussehen. Vermutlich hat der Controller Cache die meiste 'Arbeit' geleistet. Crystal Disk Mark ist für kleine ad hoc Tests ok. Bei Speicherarrays oder in einer VM ausgeführt, sind die Ergebnisse jedoch mit Vorsicht zu genießen. Wenn Du wirklich wissen möchtest, was Dein Array leisten kann, lass mal 10 oder mehr Random IO Jobs parallel über 1 Stunde laufen. Hat HP nicht Monitoring Tools für die Kisten? Vielleicht solltest Du die mal installieren. Zitieren Link zu diesem Kommentar
michelo82 12 Geschrieben 6. Januar 2014 Autor Melden Teilen Geschrieben 6. Januar 2014 (bearbeitet) Hat HP nicht Monitoring Tools für die Kisten? Vielleicht solltest Du die mal installieren. Leider ist der Link zu dem Tool bei HP Down. Was ist denn an Hardware für diese Anforderungen zu empfehlen? bearbeitet 6. Januar 2014 von michelo82 Zitieren Link zu diesem Kommentar
Dunkelmann 96 Geschrieben 6. Januar 2014 Melden Teilen Geschrieben 6. Januar 2014 Leider ist der Link zu dem Tool bei HP Down. Was ist denn an Hardware für diese Anforderungen zu empfehlen? Mein Kaffeesatz gibt dazu leider nichts her :cool: Bei den ganzen Datenbaken und sonstigen Servern müsste seriöserweise eine detaillierte Analyse erfolgen. für jedes System die benötigten IOPS in Erfahrung bringen (Herstellerangabe bzw. -empfehlung) die aktuelle Auslastung messen historische Daten auswerten - sofern vorhanden künftiges Wachstum hochrechnen etwas Reserve für unvorhersehbare Ereignisse einplanen Das sprengt den Rahmen eines Forums deutlich. Zitieren Link zu diesem Kommentar
NeMiX 76 Geschrieben 6. Januar 2014 Melden Teilen Geschrieben 6. Januar 2014 Vor allem deine 8 DB Server (Sharepoint und Exchange mal mitgerechnet) solltest du mal IO mässig untersuchen. Zieh doch mal IOPS Werte über einen Tag (inkl. Latency und was noch so interessant ist). Dann hast du zumindest einen groben Anhaltswert. Wie Dunkelmann schon sagte, hol dir da Experten ins Haus. Die wollen dir was verkaufen und sollten das gut analysieren können. Zitieren Link zu diesem Kommentar
henryy 12 Geschrieben 9. Januar 2014 Melden Teilen Geschrieben 9. Januar 2014 (bearbeitet) Moin, Terminalserver mit 8 Usern und den von dir beschriebenen Anwendungen brauchen eigentlich keine 8vCPUs sondern müssten mit 4 zurechtkommen. Viel hilft nicht immer viel;). Versuch das mal etwas runterzudrehen und schaue dir die Auslastung an Was aus meiner Sicht eher problematisch ist, ist das Raid5 mit 13 VMs wovon 5 Datenbankserver sind. Das finde ich zu sportlich. Liegen dort "nur" die OS VHDs oder auch noch die Datenbanken? Auf dem Raid5 würde ich vielleicht 5-7 "unkritische" Server laufen lassen wie WSUS, Dateiserver etc. Datenbankserver sollten eher auf ein RAID 10 und auch dann nicht in so grosser Zahl. Vor allem wenn die Platten nur 7.2k haben Bei den SQL Servern könnte fester RAM noch etwas Performance bringen bearbeitet 9. Januar 2014 von henryy Zitieren Link zu diesem Kommentar
IT-Shrek 13 Geschrieben 9. Januar 2014 Melden Teilen Geschrieben 9. Januar 2014 Hallo, entsprechende Analysen sind ohne harte Zahlen nicht viel mehr als Orakelei, am besten misst du die Umgebung einfach einmal durch. Einzelne Performance-Counter wurden ja bereits genannt. Viele weitere, teilweise sogar mit hilreichen Interpretationen bieten die beiden folgenden Werkzeuge: MAP Toolkit: http://technet.microsoft.com/de-de/solutionaccelerators/dd537566.aspx PAL http://pal.codeplex.com/ Lass doch einmal das MAP Toolkit über die Umgebung laufen und gerne helfen wir bei der Interpretation der Ergebnisse. Beste Grüße, Shrek Zitieren Link zu diesem Kommentar
coshi 11 Geschrieben 6. Februar 2014 Melden Teilen Geschrieben 6. Februar 2014 Verstehe ich das richtig, du hast Crystal Disk Mark in einer VM gestartet? Also wenn dann solltest du die Tests auf mehreren gleichzeitig laufen lassen ;-) selbst da sind die Ergebnisse eher ungenau. Die Datenbankserver fühlen sich in solchen Umgebungen überhaupt nicht wohl. Die sind auch die die Performanceprobleme "spührbar für Endanwender" machen. Wenn du auf Shoppingtour bist plan ein eigenes "sau" schnelles Storage für die Datenbanken. Am besten SSD's mit RAM Cache. Und plan gleich ein, dass die nicht länger als 2 Jahre halten unter Datenbankservern. Aber dafür wirst du hier ordentlich power haben. Wie die anderen schon sagten, diskperformance! Zitieren Link zu diesem Kommentar
Empfohlene Beiträge
Schreibe einen Kommentar
Du kannst jetzt antworten und Dich später registrieren. Falls Du bereits ein Mitglied bist, logge Dich jetzt ein.