Teaming v-ethernet- LAG Performance Problem

[TheBiker006 1]

Hallo Leute,

 

ich hätte mal eine vielleicht ungewöhnliche Frage. Es geht grundsätzlich erst einmal um einen Testaufbau. 

 

 

Hardware:

 

2 x Intel Server mit 16 GB RAM 3 SSDs jeweils im Raid 0 Verbund. Jeweils 5 x 1 Gbit/s Intel LAN

 

Betriebssystem: Server 2012 R2

 

Router: Microtik Cloud-Core mit genug Power

 

 

Also folgendes. Ich bin gerade dabei für meine virtualisierten Maschienen (Hyper-V), und physikalischen Servern eine höhere Performance zum anderen Server herzustellen (Livemigration, Replica, Datenaustausch.....) mit gleichzeitiger Fehlerredundanz.

 

 

Dazu habe ich alle NICs zu einem Team zusammengefasst LACP dynamisch alle aktiv. Danach dieses eine Team Karte genommen um einen virtuellen Switch zu bauen und damit 4 verschiedene v-ethernet erstellt. (Mgmt, Storage, Livemigration, Replica). Sodass die 5 Karten komplett für jede einzelne Broadcast Domain genommen werden sollten. 

 

 

Auf dem Router habe ich auch ein Bond erstellt mit 802.11ad (LACP)

 

 

Soweit so gut.

 

Jetzt der Test. Ich habe eine 20 GB Datei von SRV1 auf SRV2 geschoben. Alle jeweils 5 Karten des Sendeservers werden genommen. Beim Empfänger Server wird nur eine NIC immer angesprochen. Deaktiviere ich diese, wird automatisch umgeswitcht auf eine andere NIC. 

 

Also das Thema Ausfallsicherheit ist damit erledigt und funktioniert. Allerdings dachte ich mir das mithilfe des neuen SMB3 Protokolls alle 5 Karten voll ausgereizt werden sollten. 

 

Jetzt schaue ich mir die Sache mal im Windows an. Lt. der Anzeige sind es 52 MB/s Datendurchsatz. Etwas MAU.

 

Nach weiterem experimentieren und umstellen der verschiedenen Link Aggregation und Teaming Modes, kommt nicht mehr bei raus. Wenn ich im Server auf statisches Teaming stelle und im Router auf roundrobin dann werden alle Karten gleichermaßen ausgelastet. Allerdings kommt auch nicht mehr als ca 55 MB/s Datendurchsatz raus aufgeteilt auf die 5 physikalischen NICs.

 

 

Wenn ich jetzt allerdings alles wieder umstelle und diesen v-ethernet Spielkram abschalte und mit den Physikalischen NICs arbeite, in verschiedenen Vlans dann habe ich mit dem SMB3 Protokoll einen schönen Datendurchsatz von 250 MB/s.

 

 

Wie ist eure Erfahrung mit v-ethernet NICs. Kann man das in der Praxis nutzen? Oder ist es nur ein "nice to have" Feature was den Admin flexibel macht im anlegen von LAN Karten aber in Sachen Performance nur negative Eigenschaften hat.

 

 

 

 

 

 

 

[Dukel 454]

Wenn du Performance willst, nimmst du 10GbE und kein Gigabit.

[TheBiker006 1]

10Gbit sind teuer. Dazu brauch ich dann auch 10Gbit Switche. Die Testumgebung beinhaltet 5 x 1Gbit/s. Das ist die Ausgangslage.

[NorbertFe 2.034]

Ändert aber nichts. :)

[TheBiker006 1]

@NorbertFe

 

1 x NIC hat einen Durchsatz von ca. 114 MB/s. Das x die Anzahl der NICs ergibt mindestens mal 400-500 MB/s. Der Flaschenhals kann nicht die NIC sein. Auch nicht die CPU und der RAM oder die SSDs im Raid 0. 

 

Welchen Sinn macht bei dieser Teststellung eine 10 Gbit Karte. Es geht generell um die v-ethernet Konfiguration.

bearbeitet 3. November 2016 von TheBiker006

[NorbertFe 2.034]

Und? Hinterher hast du ca. 5x 114MB/s schafft das dein STorage/Server? Und wenn ja, nutzt das eine deiner VMs überhaupt? Wirklich schneller wird's nur mit 10G. Kannst du glauben.

[zahni 554]

Eben nicht: Du hast nun im Besten Fall einen Durchsatz von 5x 114 MB/s verteilt auf 5 Verbindungen.

[TheBiker006 1]

Ich hab doch jetzt am Anfang so einen schönen langen Text geschrieben und mir viel Mühe gegeben. Ich glaube das ich mit 10 Gbit eine viel bessere Performance habe. Mit 40 Gbit habe ich noch noch bessere Performance. Aber das ist nicht die Frage.

 

 

Es geht darum, weshalb bei der v-ethernet variante höchstens 52 MB/s rauskommen und ohne diese virtuelle Software NIC Lösung, habe ich schöne 250 MB/s wie ich oben geschildert habe.

 

Was ich mir vorstellen könnte, wäre das durch die virtualisierung der Netzwerkkarten mein I5 3570K CPU der Flaschenhals ist. Allerdings dümpelt diese bei der Übetragung der 20 GB Datei im 20 % Auslastungsbereich.

[DocData 85]

Wenn du 5 Gleise hast und auf jedes Gleis einen Zug setzt, dann kann jeder Zug maximal 100 Km/h fahren. Aber weil es fünf Züge sind, bekommst du die fünffache Menge transportiert.

[TheBiker006 1]

Hallo DocData. Eben das mit den gleisen ist bei dem neuen SMB3 Protocoll nicht mehr so. Ich kann die 5 Gleise bündeln und habe ein großes virtuelles Gleis mit 500 Kmh. (Teaming)

 

Ein Beispiel aus der Praxis.

 

Ich schiebe eine Film Datei von z.b. 6 GB auf eine andere Kiste. Dies ist eine Datei. Nach dem Gleis Prinzip sollte diese Datei jetzt über 1 Gleis gehen mit 100 Kmh. Verschiebe ich noch eine Film Datei zusätzlich wird das nächste Gleis mit 100 Kmh verwendet.

 

Dies ist aber nicht mehr so wie ich dies gelesen habe und auch in der Praxis erprobt habe. Verbessere mich wenn ich da was falsch verstehe.

 

Es kann aber auch sein das mein kleiner Test Mikrotik etwas ausgelastet ist, da ich hier ein LAG erstellt habe und dies nicht geswitcht hab sondern CPU lastig nur gebridged hab. 

 

Zur Not häng ich ein stromfressenden 24 Port HP Switch dran den ich noch hab. 

bearbeitet 4. November 2016 von TheBiker006

[NorbertFe 2.034]

Das mag vielleicht grad so für SMB3 zutreffen, aber du schreibst "virtualisierten Maschienen (Hyper-V), und physikalischen Servern eine höhere Performance zum anderen Server herzustellen (Livemigration, Replica, Datenaustausch"

 

Und da ist das dann definitiv _nicht_ so. Mal davon abgesehen, dass du dann sogar noch die Priorisierung und Last der einzelnen Trafficverursacher berücksichtigen müßtest. Sonst zieht dir bspw. die Livemigration allein schon 1/5 von der Gesamtperformance und wenn du 2 VMs verschiebst auch 2/5 usw. Oder ich hab deine Konfiguration total mißverstanden.

[DocData 85]

Wie Norbert sagte: Für Live Migration, Replica oder normalen Netzwerkverkehr wird kein SMB3 verwendet.

[Otaku19 33]

Ich bin jetz tkein Mikrotikexperte aber:

1.Im regefall nutzt man immer nur eien gerade Anzahl von links, das kommt jedem loadbalancing Algorithmus sehr entgegen

2.welcher Algorithmus wird denn verwendet ? Lässt sich da eventuell was umstellen ?