Server 2012: Speicherpool oder lieber klassisches RAID?

[jBourne242 10]

Hallo Forum,

 

ich plane den Einsatz eines Server 2012-Systems als Fileserver und hätte mir folgende Konstellation gedacht:

 

2x 1TB HDDs an einem RAID-Controller für das OS

4x 2TB HDDs ohne RAID, daraus einen Speicherpool erstellt und virtuelle Festplatten mit Parity-Layout angelegt. Die Volumes dann mit ReFS.

 

Wie ist eure Erfahrung? Macht das Sinn? Was passiert, wenn das "Software-RAID" defekt ist? Komme ich sauber an die Daten ran?
 

Gruß

jBourne

[Dukel 457]

Lt. einem Vortag (keine eigenen Erfahrungen) sollen Storage Pools mit Parity Performance Technisch unter aller Sau sein.

 

Was spricht gegen einen HW Raid Controller?

[jBourne242 10]

Dass ich nach belieben Festplatten einbauen und dem Storage Pool hinzufügen könnte, um die Kapazität des Fileservers zu erweitern.

[Dukel 457]

Und das kannst du bei einem Raid Controller nicht? Dann kaufst du die falschen Raid Controller.

[Dunkelmann 96]

Speicherpools sind ganz nett, aber derzeit noch keine ernstzunehmende Alternative zu einen RAID Controller.

 

Das mit der miserablen Performance bei Parity kann ich aus eigener Erfahrung bestätigen. Besonders beim Schreiben ist die Leistung grausam schlecht.

 

Zufällig habe ich hier ein Setup mit 4x 2TB 7.2k SATA2 als Parity. Das sind die Ergebnisse eines Ad Hoc Tests mit Crystal Disk Mark:

-----------------------------------------------------------------------
CrystalDiskMark 3.0.2 x64 (C) 2007-2013 hiyohiyo
                           Crystal Dew World : http://crystalmark.info/
-----------------------------------------------------------------------
* MB/s = 1,000,000 byte/s [SATA/300 = 300,000,000 byte/s]

           Sequential Read :   130.387 MB/s
          Sequential Write :    15.702 MB/s
         Random Read 512KB :    14.627 MB/s
        Random Write 512KB :     4.931 MB/s
    Random Read 4KB (QD=1) :     0.217 MB/s [    53.0 IOPS]
   Random Write 4KB (QD=1) :     0.210 MB/s [    51.2 IOPS]
   Random Read 4KB (QD=32) :     1.634 MB/s [   398.9 IOPS]
  Random Write 4KB (QD=32) :     0.237 MB/s [    58.0 IOPS]

  Test : 1000 MB [D: 22.5% (1153.1/5119.9 GB)] (x1)
  Date : 2013/07/03 19:37:31
    OS : Windows Server 2012  [6.2 Build 9200] (x64)
  

[djmaker 95]

Uuuups,das Niveau läßt auf die Performance eines großen Diskettenlaufwerks schließen. Danke für die informativen Werte. Da ist ja ein RAID-Controller ohne Cache schneller.

[AFM_Adm 11]

 

Speicherpools sind ganz nett, aber derzeit noch keine ernstzunehmende Alternative zu einen RAID Controller.

 

Das mit der miserablen Performance bei Parity kann ich aus eigener Erfahrung bestätigen. Besonders beim Schreiben ist die Leistung grausam schlecht.

 

Zufällig habe ich hier ein Setup mit 4x 2TB 7.2k SATA2 als Parity. Das sind die Ergebnisse eines Ad Hoc Tests mit Crystal Disk Mark:

-----------------------------------------------------------------------
CrystalDiskMark 3.0.2 x64 (C) 2007-2013 hiyohiyo
                           Crystal Dew World : http://crystalmark.info/
-----------------------------------------------------------------------
* MB/s = 1,000,000 byte/s [SATA/300 = 300,000,000 byte/s]

           Sequential Read :   130.387 MB/s
          Sequential Write :    15.702 MB/s
         Random Read 512KB :    14.627 MB/s
        Random Write 512KB :     4.931 MB/s
    Random Read 4KB (QD=1) :     0.217 MB/s [    53.0 IOPS]
   Random Write 4KB (QD=1) :     0.210 MB/s [    51.2 IOPS]
   Random Read 4KB (QD=32) :     1.634 MB/s [   398.9 IOPS]
  Random Write 4KB (QD=32) :     0.237 MB/s [    58.0 IOPS]

  Test : 1000 MB [D: 22.5% (1153.1/5119.9 GB)] (x1)
  Date : 2013/07/03 19:37:31
    OS : Windows Server 2012  [6.2 Build 9200] (x64)
  

 

Soo schlechte Werte? Hast du den Test mit einem einem Raid-Controller und Raid-5 mal wiederholt?

[Dunkelmann 96]

Ich habe vor die Tage ein äquivalentes Setup mit einem LSI 9240-8i aufzubauen. Ich kann denn gerne die Vergleichswerte posten.

[NilsK 2.971]

Moin,

 

für Server ist bei Storage Spaces momentan maximal der Typ "Mirror" mit genau zwei Disks geeignet. Alles andere belastet die CPU zu stark und bietet keine befriedigende Schreibleistung.

 

Das Szenario "leichtes Erweitern" scheidet damit aus. Überbuchen usw. sollte man bei einem Server sowieso nicht, wenn man Storage Spaces nutzt.

 

Gruß, Nils

[jBourne242 10]

Danke für die Informationen und vor allem die Benchmark-Ergebnisse. Deine Vergleichswerte für das RAID-Setup würden mich sehr interessieren!!

 

Dann lassen wir wohl besser die Finger von den Storage Spaces. Da bin ich jetzt irgendwie ziemlich enttäuscht, die Features an sich klingen recht vielversprechend...

 

Gruß

jBourne

[Dunkelmann 96]

Ich habe jetzt ein paar Vergleichswerte. Das Setup besteht allerdings aus 5x 2TB SATA2 - also nicht 100% vergleichbar, jedoch aussagekräfig genug.

Der Controller hat keine BBU und läuft im 'write through' Modus - daher is die Schreibperformance geringer als theoretisch möglich. Da die Kiste nicht produktiv eingesetzt wird ist mir aber egal.

-----------------------------------------------------------------------
CrystalDiskMark 3.0.2 x64 (C) 2007-2013 hiyohiyo
                           Crystal Dew World : http://crystalmark.info/
-----------------------------------------------------------------------
* MB/s = 1,000,000 byte/s [SATA/300 = 300,000,000 byte/s]

           Sequential Read :   387.930 MB/s
          Sequential Write :    20.103 MB/s
         Random Read 512KB :    48.505 MB/s
        Random Write 512KB :    13.917 MB/s
    Random Read 4KB (QD=1) :     0.759 MB/s [   185.3 IOPS]
   Random Write 4KB (QD=1) :     0.382 MB/s [    93.2 IOPS]
   Random Read 4KB (QD=32) :     5.697 MB/s [  1390.8 IOPS]
  Random Write 4KB (QD=32) :     1.074 MB/s [   262.1 IOPS]

  Test : 1000 MB [D: 0.0% (0.4/7446.7 GB)] (x5)
  Date : 2013/07/08 15:17:27
    OS : Windows Server 2012  [6.2 Build 9200] (x64)
  

 

[Dominik Weber 19]

-----------------------------------------------------------------------
CrystalDiskMark 3.0.2 x64 © 2007-2013 hiyohiyo
                           Crystal Dew World : http://crystalmark.info/
-----------------------------------------------------------------------
* MB/s = 1,000,000 byte/s [sATA/300 = 300,000,000 byte/s]

           Sequential Read :   245.052 MB/s
          Sequential Write :    98.913 MB/s
         Random Read 512KB :    70.374 MB/s
        Random Write 512KB :    56.092 MB/s
    Random Read 4KB (QD=1) :     1.031 MB/s [   251.8 IOPS]
   Random Write 4KB (QD=1) :     0.721 MB/s [   176.1 IOPS]
   Random Read 4KB (QD=32) :     8.985 MB/s [  2193.6 IOPS]
  Random Write 4KB (QD=32) :     3.368 MB/s [   822.3 IOPS]

  Test : 1000 MB [C: 42.3% (66.9/158.0 GB)] (x5)
  Date : 2013/07/15 12:29:22
    OS : Windows Server 2012 Server Standard Edition (full installation) [6.2 Build 9200] (x64)
 

 

4x300 GB SAS an einem P410i ohne BBU im Raid-10 (BBU ist bestellt)

[Weingeist 159]

Also das die Software-RAID unbrauchbar lahm sein soll und die CPU viel zu stark beansprucht wird, kann ich nicht so ganz teilen. Klar muss sie ihren Teil übernehmen, ist ja aber auch kein Dilemma oder?

Das es etwas langsamer wird wohl so sein, auch wenn ich das nicht direkt verglichen habe.

 

ESXi 5, E5 1600er CPU mit 3.2GHZ, VM mit Server 2012, 1 Core, HBA LSI SAS9207-8 direkt durchgereicht

Beteiligte Festplatten: 4x SSD Intel 520er 480GB als RAID 10

 

CPU Belastung während des Benchmark habe ich 27%, finde ich vertretbar

Messung ist direkt innerhalb der VM auf einem Volume welches auf dem RAID 10 Verbund liegt.

 

Seq: 932 / 354 (R/W ind MBs)

512:  733 / 356

4k Random: 21.7 / 17.15

4k QD 32: 237 / 130

 

 

Innerhalb einer ESXi VM, welche im oben genanntem Volume welches per NFS angebunden wurde liegt:

Seq: 463 / 102.5

512: 417 / 94.5

4k Random: 12.4 / 8.9

4k QD 32:  82.2 / 14.5

 

Klar, die Werte könnten besser sein. Write-Cache ist aber alles abgeschaltet und das OS bietet leider noch keinen ReadCache für StandAlone Systeme. Auf nem Cluster soll das aber mit bis zu 20% des RAM möglich sein. Kann ich hier aber so nicht gleich testen.

 

Das System läuft nun seit knapp einem halben Jahr produktiv und stabil.

 

 

Im Vergleich dazu ein Hardware RAID, innerhalb einer Server 2012 VM welche auf einem normalen, lokalen VMFS5 Datastore liegt:

ESXi 5, LSI 9271 8i mit Cache Vault Modul (1GB DDRIII Cache, PCIex 3.0) / 4x600GB Seagate Cheetah 15k im RAID 10, CPU mit 3.6 GHZ, 1 Core der VM zugeteilt

 

Seq: 659 / 286

512: 353 / 206

4k Random: 7.3 / 6

4k QD 32: 46.3 / 6.7

 

Die Kosten der beiden Systeme sind ungefähr vergleichbar.  Dieses System mit zwei Mirror SSD als Cache und dem Zusatz-Key dürfte wohl einiges schneller sein. Erteres mit Enterprise SLC's wohl auch.

 

 

Auf der SAN:

Fujitsu Eternus DX80, Dual Controller, 8x300GB 15k SAS Discs im RAID 10, 4x1Gbit Anbindung pro Controller, 4x 1Gbit auf den Server

Gemessen innerhalb der VM (Server 2008)

 

Seq: 105 / 102

512: 32.6 / 91.8

4k Random: 1.5 / 5.88

4k QD 32: 12.5 / 6.3

 

Die Kosten für dieses System inkl. zwei Switches - das dürfte jedem klar sein - sind dabei deutlich höher. Dafür auch Dual Controller.

 

Ich persönlich finde die Werte ziemlich enttäuschend. Warum das so ist, kann ich nicht sagen. Würde heute auch SAS verwenden und nicht mehr iSCSI. Das System ist healthy und angeblich korrekt konfiguriert. Dem System ist in dieser Zeit langweilig und es ist die einzige VM die in diesem Store liegt.