Storage Design

[bouncer86 5]

Wir planen gerade eine kleine Virtualisierungsumgebung und sind nun beim Storage angekommen.

 

Es steht eine Dell Md3220 zur Verfügung mit 12 x 900gb SAS plus ein weiteres Shelf mit 24x 1TB nearline SAS.

 

Angedacht ist, dass VMs welche mehr Performance brauchen, auf dem Sas Speicher laufen, alle anderen auf dem SATA Speicher.

 

RAID 10 fällt eigentlich aus, da doch zu viel Kapazität abhanden kommt.

 

Nun sind wir am überlegen ob wir die 12 sata in einem RAID 5 Verbund laufen lassen lassen oder lieber in 2. Wobei eine Disk als Hotspare abgezogen werden muss.

 

Bei dem nearline SAS Speicher die gleiche Fragen. Vom Gefühl her sind mir 24 Platten in eine, Raid5 von der Ausfallquote zu viele. Lieber ein Raid6 über alle Platte?

 

Hauptsächlich werden dort kleinere Webserver, Fileserver und Appliances laufen. Dort gibt es keine VM die wahnsinnig viele IOs braucht.

 

Welche Ideen dazu habt ihr?

Vielen Dank

[zahni 554]

Sorry, aber lasse Dich von einem Systemhaus beraten. Die können Die Anforderungen an den Storage genau analysieren und Dir Konfigurationsvorschläge unterbreiten.

[Dunkelmann 96]

Moin,

 

mit den Informationen lässt sich keine seriöse Planung durchführen.

 

Einen generellen Tip kann ich Dir aber geben:

Falls noch nicht geschehen, fange schon einmal an, die Diskperformance zu messen. Mit Daten aus Deiner Umgebung lässt sich Deine Umgebung am besten planen.

http://blogs.technet.com/b/askcore/archive/2012/02/07/measuring-disk-latency-with-windows-performance-monitor-perfmon.aspx

http://technet.microsoft.com/en-us/library/cc938964.aspx

http://www.dell.com/downloads/global/products/pvaul/en/powervault-md3200i-performance-tuning-white-paper.pdf

[monstermania 53]

Moin,

na ja, so 'klein' ist die Umgebung ja nun nicht ;).

Ich kann meinen Vorpostern nur zustimmen. Ohne konkrete Anforderungen an die benötigten IOPS sollte man keine Aufteilung vornehmen bzw. keine Empfehlung aussprechen.

Grundsätzlich kannst Du ja auch mehrere RAID-Verbände einrichten und kombinieren (z.B. RAID-10 oder RAID5) und z.B. auch 2 oder 3 Platten als Hot-Spare's für alle eingerichteten RAID-5-Verbände definieren. Kommt halt immer auf die konkreten Anforderungen (Performance/Ausfallsicherheit) an.

 

Grundsätzlich würde ich mir auch Deine Aussage "Angedacht ist, dass VMs welche mehr Performance brauchen, auf dem Sas Speicher laufen, alle anderen auf dem SATA Speicher" überdenken. Bei geschickter Aufteilung der Partitionen kannst Du z.B. die OS-Partition grundsätzlich auf den SAS-Verbund legen und nur die Datenpartition auf das NL-SAS.

 

Gruß

Dirk

[NeMiX 76]

Wie immer mein Lieblingslink zum Thema Raid5: http://www.zdnet.com/blog/storage/why-raid-5-stops-working-in-2009/162

 

Ansonsten solltest du dein Storage nach den IOPS Anforderungen designen und nicht blind zwischen SAS und SATA aufteilen. Ein Fileserver z.b. kann davon profitieren wenn Dateien die viel benutzt werden vom SAS Array kommen, Archiv oder wenig benutzte Daten per SATA kommen.

 

Wie ist das ganze angebunden, MD Serie von Dell ist doch SAS oder (kenne nur EQ von Dell).

[Doso 77]

Nachdem uns mal beim Rebuild ein größeres RAID5 abgeraucht ist, und das ganze sogar 2x in wenigen Monaten, verwenden wir RAID6 + Hot Spare. SATA ist dann nur für das Backup da, wo es nur auf Kapazität ankommt. Du willst nicht Terrabyte Daten wieder herstellen mit einem Tag Betriebsunterbrechung, nur weil du zu geizig warst noch eine weitere Platte für das RAID zu reservieren.

[bouncer86 5]

Hallo,

 

das ganze ist eine komplette neue Umgebung, Es gibt noch keine VM's wo irgendwo etwas gemessen werden kann. 

 

Viel Interessanter finde ich, wie sich die Performance zwischen RAID 5 zu RAID 6 verschlechtert. Bzw. wie sich dies auf Wiederherstellungszeit auswirkt.

 

Würdet ihr 11 Festplatten in einem Raid 5 Verbund betreiben, oder hier lieber auf RAID 6 gehen?

 

Das gleiche bei den SATA Festplatten, würdet ihr lieber 2 RAID Sets machen?

[Dukel 455]

Gibt es Best Practices von Dell?

[monstermania 53]

Moin,

na ja, auch in einer neuen Umgebung kann man ein IOPS-Sizing vornehmen. Schließlich weißt Du ja wohl welche Anwendungen mit welchen Users drauf laufen sollen (z.B. MS Exchange, MS SQL, Oracle, usw.). Und da geben die jeweiligen Hersteller schon an, welche IOPS da mindestens erforderlich sind. Dann noch ein entsprechendes Sicherheitspolster für zukünftige Anforderungen und gut ist's.

 

Ein nennenswerter Perfomanceunterschied zwischen RAID5/RAID6 wäre mir jetzt nicht bekannt. Wichtiger dürfte die Toleranz im Falle eines Fehlers sein. Bei RAID 5 darf halt nur 1 Platte kaputt gehen. Wenn während eines Rebuilds des RAID 5 eine 2. Platte kaputt geht -> Totalcrash des Arrays

Bei RAID 6 können immerhin 2 Platten gleichzeitig kaputt gehen ohne dass dir das Array um die Ohren fliegt.

 

Die Wiederherstellungszeit hängt nicht davon ab, ob Du RAID5/RAID6 verwendest, sondern eher von der Größe Deines RAID-Arrays. Wenn Du z.B. 4 RAID-Arrays á 2 TB auf deinem Storage eingerichtet hast und jetzt fliegt Dir eines der Arrays weg, dann musst Du halt nur 2 TB vom Backup wieder herstellen.

Richtest Du nur ein einziges RAID-Array mit 8TB ein und das fliegt Dir um die Ohren musst Du gleich 8 TB vom Backup wieder herstellen. Natürlich hast Du bei 4 Arrays einen höheren Kapazitätsverlust, als wenn Du nur 1 Array einrichtest...

 

Wie immer gilt es einen Kompromiss aus Performance/Sicherheit und Kapazitätsverlust zu finden. Nur kann Dir das ohne Kenntnis der genauen Anforderungen an die benötigten IOPS, das geplante Wachstum im Unternehmen, usw. einfach keiner sagen. Am besten holt Ihr Euch dafür einen Spezialisten ins Haus. Möglichst Jemanden, der die MD3220 und deren Möglichkeiten genau kennt.

 

Bei Bedarf kann ich Dir per PN gerne ein Systemhaus nennen, die bereits viele Projekte mit der MD3220 realisiert haben. Die haben auch unsere ESXi-Umgebung mit der MD3220 konfiguriert.

 

Gruß

Dirk

bearbeitet 7. Oktober 2014 von monstermania

[Dunkelmann 96]

Hallo,

 

das ganze ist eine komplette neue Umgebung, Es gibt noch keine VM's wo irgendwo etwas gemessen werden kann.

Habt ihr noch gar keine IT im Unternehmen? Keine Fileshares, keine Datenbaken, die gemessen werden können? Für die Leistung, die ein Service benötigt, ist es egal ob er in einer VM ausgeführt wird oder auf Blech läuft.

Dann alle Services in einen Topf, Overhead für's OS der VMs und Wachstumsreserve hinzu und fertig ist das erste grobe Anforderungsprofil.

 

Viel Interessanter finde ich, wie sich die Performance zwischen RAID 5 zu RAID 6 verschlechtert. Bzw. wie sich dies auf Wiederherstellungszeit auswirkt.

 

Würdet ihr 11 Festplatten in einem Raid 5 Verbund betreiben, oder hier lieber auf RAID 6 gehen?

 

Das gleiche bei den SATA Festplatten, würdet ihr lieber 2 RAID Sets machen?

https://www.heinlein-support.de/upload/slac08/Heinlein-RAID_Mathematik_fuer_Admins.pdf

 

PS: Ich habe mit der Firma nichts zu tun; finde es nur als Einstieg geeignet.

[bouncer86 5]

Habt ihr noch gar keine IT im Unternehmen? Keine Fileshares, keine Datenbaken, die gemessen werden können? Für die Leistung, die ein Service benötigt, ist es egal ob er in einer VM ausgeführt wird oder auf Blech läuft.

Dann alle Services in einen Topf, Overhead für's OS der VMs und Wachstumsreserve hinzu und fertig ist das erste grobe Anforderungsprofil.

 

https://www.heinlein-support.de/upload/slac08/Heinlein-RAID_Mathematik_fuer_Admins.pdf

 

PS: Ich habe mit der Firma nichts zu tun; finde es nur als Einstieg geeignet.

 

 

Super vielen Dank.

 

Da werden hauptsächlich kleine Appliances drauf laufen die < 10 IOPS benötigen. 

[Dunkelmann 96]

Da werden hauptsächlich kleine Appliances drauf laufen die < 10 IOPS benötigen. 

Auch die 'Kleinen' sollten nicht unterschätzt werden.

Neben dem Mittelwert, solltst Du auch ein Auge auf die Leistungsspitzen haben. Gerade wenn mehrere kleine Anwendungen zeitgleich ihr Maximum anfordern, kann es auf einem knapp kalkulierten Storage schnell eng werden.

bearbeitet 8. Oktober 2014 von Dunkelmann

[Gen-2 10]

weniger als 10 iops? Was ist das denn? Windows Phone Emulator? :D


Bei Virtualiserung kommt es, wie mehrfach erwähnt, auf den Querschnitt Sicherheit/Leistung an.

Viele Leute viele Meinungen... Liegt in der Natur der Sache. Jeder sammelt da so eigene Erfahrungen. :)

RAID 6 ist im Jahr 2014 Minimum, gilt in Virtualiserungsumgebungen zwar als leicht verpönt ist aber je nach Anforderung ok.
Die Storage Experten (hauptsächlich HP und DEll Umfeld) mit denen ich zu tun hatte, wollten eigentlich immer nur RAID 10 mit Hot oder stand by spare einsetzen und RAID 6 eher mit Stirnrunzeln.

Der Leistungsabfall ist tatsächlich vorhanden aber SAN/Storagesysteme machen da auch etwas bohei.
RAID 5 war schon vor Jahren lame. Der Link der gepostet wurde erklärt sehr gut warum. Read it. Twice.

 

Im Grunde würde ich für OS Installationen "raw power as much" drauf werfen.
Wie ich schon vor Jahren feststellen durfte, wird anfangs super sorgfältig geplant und gemessen und so weiter und wenn die Virtualisierung erstmal steht kommen recht schnell doppelt und dreifach soviele VMs nach. :)

Bei guten (und teureren) Storage Systemen wundert man sich dann noch wieviel mehr die noch aushalten bevor es zäh wird. ;)

 

Und noch etwas

"RAID 10 fällt eigentlich aus, da doch zu viel Kapazität abhanden kommt."

 

Der Trend geht sogar zu Triple Mirror ala StorageSpaces mit dreifach Spiegelung. Die Branchengrößen haben es vorgemacht und auch in kleineren Umgebungen zieht der Gedanke ein. HA/SLAs lassen grüßen.
Ob das im KMU tatsächlich durchschlägt sei mal dahin gestellt, aber in Anbetracht dessen das oben liegende VM Services immer mehr und mehr HA SLAs erfordern, ein logischer Schritt.

Die richtigen Gedanken wären also m.E. RAID 10 sollte es schon minimum sein. Trennen aber nach nach IO und/oder Prioritätsstufen.
Wie auch angedeutet macht es keinesfalls Sinn 11 x 1TB als RAID 5 aufzubauen. Aus Gründen. Wer das macht gehört an den Ohren gezogen. Mehrfach.

Bessere wären kleinere Teile.
Fakt ist aber auch, das recht statische Aufteilungen in Stein gemeißelt eher hinderlich sind.
Ich würde eher in Bevorzugungen denken. Das entspricht auch der HA bzw. dem Virtualisierungscharakter undd der Mobilität der VMs.

Merke: Was auch immer du aufbaust, halte die VMs so mobil als möglich.
Es bringt dir  wenig wenn alle VM auf ihren Datenteilen im SAN gerad so passen aber man am Ende aufgrund vieler viel zu kleiner RAID Stückchen nicht mehr evakuieren bzw. umziehen kann.
 

Als Größenangabe aber nicht als Blaupause, kann ich sagen das kleine HP P2000 Systeme mit 24x SAS 10k Platten durchaus für 15 bis teils 30 und mehr VMs ausreichen können.
Inklusive Exchange und Fileserver. Exch RAID 10 und FS RAID 6 z.B.
 

[NeMiX 76]

weniger als 10 iops? Was ist das denn? Windows Phone Emulator? :D

 

 

In VDI Umgebungen kommen wir mit 10-15 IOPS bei Standard Usern immer gut hin.

Siehe auch: http://www.vmware.com/files/pdf/view/Server-Storage-Sizing-Guide-Windows-7-TN.pdf Seite 8 z.b.

[bouncer86 5]

Guten Morgen Gen-2,

 

vielen vielen Dank für diesen ausführlichen Beitrag.

 

Bei RAID 10 geht uns wirklich einfach zu viel Platz verloren und die Leistung brauchen wir dort wirklich nicht.

Ich habe zum RAID 6 leider derzeit überhaupt keine Erfahrungen. Daher meine Fragen.

 

Du sagst aber:

 

Wie auch angedeutet macht es keinesfalls Sinn 11 x 1TB als RAID 5 aufzubauen. Aus Gründen. Wer das macht gehört an den Ohren gezogen. Mehrfach.

 

Warum? Weil einfach die Ausfallwahrscheinlichkeit in einem Raid sich stark erhöht. 

 

Denn auch bei RAID 5 gilt ja eigentlich, so mehr spindeln, desto mehr IOPS.