Storage - wie groß sollte ein Raid sein

[Sternenkind 11]

Guten Morgen,

 

Raidlevel sind mir grundsätzlich klar aber ich muss neuerdings einmal in ganz anderen Dimensionen denken:

 

Ich muss einen alten Storage ersetzen und bin bei Recherchen in Richtung Eternus DX200 S4 (10Gbit) gegangen, da die Anforderungen bei 80TB Speicher und nach meinen Auswertungen der bisherigen Netapp 15000 IOPS sind.

 

Rein rechnerisch bin ich nun zu dem Schluss gekommen:

184x 600GB 10.000 SAS zu je 8 in Raid 6 und die entstehenden 23 Raid6 zu einem 0 zusammen stripen = Raid 60 mit guten 80 TB und 14000-20000 IOPS (wenn man Cache mit ca. 40% rechnet und der Schreibanteil bei 25% liegt)

 

Ich habe nirgendwo ermitteln können, wie viele Festplatten in einem Raid noch sinnvoll zu handhaben sind usw.

 

Statt einer Antwort würde mir sonst auch ein Verweis auf eine Quelle zum Nachlesen helfen.

 

Ich muss es nur so weit richtig machen, dass ich es Ausschreiben und bei Bedarf mit einem Consultant umsetzen kann - Kommentare wie "fass es nicht an wenn du keine Ahnung hast" wären berechtigt, mach ich ja aber nicht.

 

Vielen Dank :)

[Dukel 455]

Ich würde mit mittlerweile immer überlegen SSD's mit einzuplanen (als Cache um die IOPs zu erhöhen).

Gibt es vom Hersteller keine Empfehlung wie groß die Raid Gruppen sein sollten? Die wird für jeden Hersteller unterschiedlich sein.

[NorbertFe 2.061]

dass ich es Ausschreiben und bei Bedarf mit einem Consultant umsetzen kann

Dann würde ich mir jetzt einen Consultant oder Hersteller vorab ins Boot holen, der das technisch spezifizieren kann. Darauf basierend kann man dann eine Ausschreibung mit den technischen Eckdaten erzeugen. Wozu willst du dir das denn "ausdenken", wenn du selbst davon keinen Plan hast? Das kann im Zweifel am Ende schwer nach hinten losgehen, wenn du dann ein Zielsystem hast, was zwar vordergründig die ausgeschriebenen Daten erfüllt, aber eigentlich nicht das ist, was du willst/brauchst.

 

Bye

Norbert

[Sternenkind 11]

Cache ist eingeplant, zumindest bei Fujitsu kostet eine 900GB HDD 379,60 und eine 960GB SSD 2634,90€ (alles inkl. 19% und unverhandelt aber als Richtwert ja dennoch brauchbar um Preisverhältnisse zu ermitteln)

 

Das wären somit 45T€ gegenüber 295T€ nur für Datenträger - das bremst mich ein wenig was Allflash angeht :)

 

Was Herstellerangaben angeht - ich suche eher das "best practice" - dass ein 192 Platten Raid bei diversen Herstellern möglich ist, ist mir klar... mangels Erfahrung und anhand des Mottos "Nur dass du es kannst heißt nicht, dass du es machen solltest" hinterfrage ich ob das schlau ist.

 

(Siehe auch die Möglichkeit an USB 1.0 100 Geräte zu betreiben)

bearbeitet 19. Oktober 2017 von Sternenkind

[Dukel 455]

Muss ja nicht All-Flash sein, aber eine Mischung aus SSD's und SATA (bzw. NL-SATA) sehe ich des öfteren statt reihnen SAS Disks. Diese sind dann auch von der Performance als auch vom Preis eine alternative.

[zahni 554]

Beachte bitte, dass Du "Storage" ausschreiben musst und dabei  den Hersteller und  das Modell nicht vorgeben darfst.

Es sei denn, Du hast einen guten Grund. Z.B. ein Blade Center in dem nur Server eines Herstellers passen.  Du kannst natürlich technische  Vorgaben machen, usw.

Details verrät Dir  die örtliche Auftragsberatungsstelle ;)

[Dunkelmann 96]

Moin,

 

ich kann mich zahnis Empfehlung anschließen.

Mache eine möglichst hersteller- bzw. produktneutrale Ausschreibung mit den geforderten Daten (Performance, Kapaziät, Formfaktor, Storageprotokolle etc.) und lass Dir Lösungen präsentieren.

Bei den vorgestellten Lösungen kannst Du dann hinterfragen, warum diese oder jene Konfiguration "die beste" sein soll.

[Chomper 3]

@Sternenkind:

Wie zahni sagt, allgemein Storage und ggf. wenn Technik schon da ist das Interface bei einer Ausschreibung angeben.  ( dein Eternus braucht ja auch noch 2 10Gbit Switche)

 

Allgemein würde ich mich von Planungen/Überlegungen der Raid Level verabschieden. Moderne SAN bieten Autotiering/Data Progression, Compression und Deduplizierung der Daten "on-the-fly" an. Den Rest macht das SAN fast selbstständig.

Und ja, das geht auch mit über 100 Platten. Wie soll das sonst mit den Shelf Erweiterungen funktionieren? Es wird halt je nach Storage Anzahl x HDDs

 

 

Ich hatte z.b. eine alte MD3220i mit 10xR10 und 12xR5 durch eine Dell Scv2020 ersetzt. Gut, war All-Flash. Aber die teilt selbstständig in R-10 und R-5 auf. Alle Schreibzugriffe landen erst mal im schnelle R10. 1x täglich wird optimiert, weniger hot Daten landen auf dem R5. Je nach HDD Größe wird dann auchtomatisch ein R6 statt R5 angelegt.

 

Die größeren, wie jetzt die neuen SCv3000 bzw SCV5000 bieten dann auch Deduplizerung und Komprimierung an. laut Datenblatt sogar "4:1  All-Flash Storage Efficiency Guarantee". Gut, Marketing.

 

Ein Vergleich:  https://www.evaluatorgroup.com/document/entry-level-san-interactive-matrix/     einfach mit wegwerfmail mal registrieren. Ob für 80TB noch entry passt ist die andere Frage.

 

Zum besseren Verständnis wie so ein modernes SAN das aufteilt... 

Da finde ich die Doku von Dell recht "verständlich" für jemanden der sich nicht täglich damit befasst:

 

Understanding RAID with Dell SC Series Storage

http://en.community.dell.com/techcenter/extras/m/white_papers/20442059   

 

Lässt sich so auch auf andere Storage übertragen.

bearbeitet 19. Oktober 2017 von Chomper

[zahni 554]

Zur Größe der  Raids: Die sind bei der Netapp fest vorgegeben: https://library.netapp.com/ecmdocs/ECMP1368859/html/GUID-EE30CDA9-095F-4DD1-9A29-BB9F0E55DB4F.html

 

Diese Raid-Gruppen werden dann zu Aggregaten zusammengefasst, maximal 150. Bei jeder  RAID-Gruppe fällt der "Raid-Verlust"  an. An eine ausreichende Anzahl von Hotspare-Disks denken.

 

Also das Ganze  richtig kalkulieren und in der Ausschreibung  immer von für Anwendungen nutzbarer Kapazität schreiben. 

 

Bei der Netapp würde ich prüfen lassen, ob sich die Disks und Shelfs nicht an neue Controller migrieren lassen. Das würde die Ausschreibung vereinfachen. Das geht u.U. sogar  ohne Datenverlust. Denn dann kann man "Netapp"  reinschreiben.

[Sternenkind 11]

Klingt alles spannend, vielen Dank schonmal.

Autotiering, Kompression, Deduplizierung... alles an sich bedacht aber *erstmal* zur Seite gestellt in der Grundüberlegung - Fujitsu sagte zu Kompression und Deduplizierung "wenn Performance weniger wichtig ist als Platz" - das hat mich erstmal abgeschreckt.

Autotiering guck ich derzeit noch an was Erfahrungswerte anderer angeht

[zahni 554]

Deduplizierung und Snapshots sollten Performance-Neutral sein, zumindest  im Betrieb. Die Netapp macht die Deduplizierung normalerweise nachts zu einem festen Zeitpunkt. 

Snapshots sind wichtig und dürfen keine Performance kosten. Kompression kostet natürlich. Hier muss man die Daten anschauen. Wenn ich z.B. Daten habe, die selten verwendet werden. kann ich auch komprimieren.

Sollten man pro Volume konfigurieren können. Dann würde mich an einem Storage  noch eine gute SMB/CIFS-Funktionalität interessieren. Möglichst offiziell "kompatibel". Dazu muss  die Hersteller entsprechende Lizenzen bzw. den Source-Code erworben haben.

[magheinz 110]

Was bist du? Bund, Land oder Komune?

Wenn du einen Hersteller kennst(hier netapp), dann ist die Frage warum du nicht bei dem bleiben willst.

Netapp kann dir da durchaus was passendes anbieten.

 

Ansonsten: 15k IOPs dürften mit SSD-cache hizubekommen sein. Je nach Daten die gebraucht werden.

 

Was habt ihr denn derzeit für eine netapp?

 

Für die Ausschreibung: Bei Herstellerwechsel die Schulungen nicht vergessen und schauen ob man nicht über irgendeinem Rahmenvertrag bezugsberechtigt ist

[NilsK 2.957]

Moin,

 

Für mich klingt das eindeutig nach Beratung im Vorfeld der Ausschreibung. Gebt nicht Technik vor, sondern Anforderungen.

 

Gruß, Nils

[magheinz 110]

Und schaut ob ihr auf Rahmenverträge zurückgreifen könnte (ITDZ, KdB etc).

Deduplizierung und Snapshots sollten Performance-Neutral sein, zumindest  im Betrieb. Die Netapp macht die Deduplizierung normalerweise nachts zu einem festen Zeitpunkt.

Jein. Das stimmt nur solange wir von drehenden platzten reden. Die AFF und die hybriden können dedup und compression auch inline. Bei AFF ist das sogar standard.

Bei den anderen, nicht-Ontap-Produkten von netapp müsste ich jetzt nachschauen.

[zahni 554]

Inline kann man auch aktivieren, zumindest ab Ontap 9.

Dann hat die CPU aber  zu tun. Die Art des Speichers ist da zunächst egal.

Wie gesagt: Hängt  vom Einsatzzweck ab.