10G Nic Teaming oder nicht?

[Assassin 13]

Nabend...ich bin gerade noch etwas am rumtesten mit Server 2019 und der HyperV Rolle auf einem Server, der eine Intel x550T2 Karte installiert hat, also eine Dual 10G Netzwerkkarte.

Nun habe ich schon ein paar Demo VMs am laufen, dabei viel mir aber immer wieder eine Meldung im Ereignis log auf: Ereignis-ID 106 bei ein virtueller Hyper-V-Switch ein Team LBFO...

Ich habe die beiden Ports ganz klassich "geteamt" über den Servermanager, Switchunabhängig mit Dynamischer lastverteilung.

 

Diese Meldung, dass da was mit der RSS/VMQ Konfiguraton nicht stimmt :-/ das merkt man auch wenn man ein paar große sachen über das 10G Netzwerk kopiert, dass die CPU sehr stark ausgelastet wird auf dem 1. oder 2. CPU Kern.

 

 

Nun halt meine Frage: 1. Sollte sich das system nicht automatisch entsprechend Konfigurieren was die RSS/VMQ Einstellung angeht? Also dass das System der einzelnen NIC sagt, welcher der Start CPU Kern ist, wieviel Kerne genutzt werden können, und im optimalsten Falle, dass der eine 10G Port auf dem Numa Node 0 bleibt, und die andere vielleicht auf dem Numa Node1?

2. Wie sollte man es im optimalsten falle konfigurieren? Ich finde dazu komischerweise nicht sonderlich viel im netz :(

 

3. würde es weniger CPU overhead geben, wenn ich jeder VM eine eigene Karte zuteile, bzw. händisch den VMs eine karte zuordne? also gänzlichst ohne NIC Teams zu arbeiten? Kommt die CPU auslastung nur durch das Teaming zustande, oder woran liegt das?

 

[NorbertFe 2.061]

vor 16 Minuten schrieb Assassin:

2. Wie sollte man es im optimalsten falle konfigurieren? Ich finde dazu komischerweise nicht sonderlich viel im netz :(

Vielleicht suchst du aber auch falsch?

https://www.altaro.com/hyper-v/virtual-networking-configuration-best-practices/ Gibt sicher noch viel mehr. Alternativ nimm dir mal "Microsoft Hyper-V: Das Handbuch für Administratoren. Aktuell zu Windows Server 2016" zur Brust, da ist das Thema auch gut erklärt.

 

[magheinz 110]

brauchst du wirklich die doppelte Bandbreite oder willst du Redundanz haben?

[Assassin 13]

Sollte eher zum Lastausgleich dienen, weniger zur Redundanz.

Daher auch eine 2x 10G Anbindung des Hosts zum Switch, der wiederrum alles über 1G an die Clients verteilt.

 

Es werden sicherlich mal so 10 VMs drauf kommen, neben Exchange und SQL auch ein paar Monitoring systeme. Und um nicht für jede VM eine kleine 1G Karte haben zu müssen war eben die idee - eine schnelle verbindung, das ganze als Team, und schon sollte das auch performant genug laufen.

[NorbertFe 2.061]

Wieviele Clients hängen denn da dran? Üblicherweise stört sich eine "kleine-mittlere" Umgebung genau gar nicht an 1GB LAN-Verbindungen die auch auf mehrere Server geteilt werden können. 10G ist zwar schön, aber in den wenigstens Fällen wirklich notwendig.

[Assassin 13]

es gibt ein SQL server, der täglich um die 1- 1.5 Mio datensätze reinbekommt (aber nur je ein Bit was sich ändert sozusagen) - der hat mehr in sachen RAM und CPU zutun, aber das Netzwerk sollte da auch nicht außer acht gelassen werden, auch wenn lt. Taskmanager da kaum auslastung drauf ist...

 

habe diese seite hier gefunden, wo auch einiges erklärt wird:

https://lokna.no/?p=2464

 

[magheinz 110]

Ihr werdet  vermutlich nicht mal eine 10GB-Leitung auslasten.

Schafft der host überhaupt den Durchsatz?

Kann der switch LACP?

[v-rtc 88]

Aus Erfahrung heraus sind 10GBE nie verkehrt und je nach Nutzung sinnvoll, wenn man es quasi schon hat... wir haben den 10GBE für vMotion, Server und Backup genutzt, waren aber mehr wie 10

[Assassin 13]

Ubiquiti US48. Unterstützt auch das LACP Protokoll - aber beim Nic Team habe ich Siwtch Unabhängig gewählt...soll wohl soweit ich das gelesen habe keinen unterschied machen ob man nun Switch Unabhängig wählt, oder über das LACP Protokoll gehen will ?

 

sicherlich wird das nicht ausgelastet werden...abeer wenns da ist

ich mach mir eher um die Latenzen sorgen, also um die Warteschlangen (Queues), dass die vielen VMs die alle im Netzwerk rumvorwerken wollen, sich gegenseitig ausbremsen weil das Netzwerk nicht hinterher kommt...

[NorbertFe 2.061]

vor 15 Minuten schrieb magheinz:

Kann der switch LACP?

Muss er das? Immerhin ist der Host ja Switch-independent konfiguriert.

vor 15 Minuten schrieb RolfW:

sind 10GBE nie verkehrt und je nach Nutzung sinnvoll, wenn man es quasi schon hat...

 

vor 27 Minuten schrieb NorbertFe:

10G ist zwar schön, aber in den wenigstens Fällen wirklich notwendig.

War jetzt nicht soviel Unterschied in den Aussagen, oder? ;)

[magheinz 110]

Alles kein Widerspruch. 

1. Nein, er braucht kein LACP, wenn er es aber kann würde ich es auch nutzen.

 

2. Sinnvoll ungleich notwendig. 

Man kann die EU auch ohne Regelung verlassen, das ist notwendig wenn man sich nicht mehr mag. Sinnvoll ist aber eine Regelung und hinter trotzdem noch vernünftig miteinander sprechen zu können. 

[NorbertFe 2.061]

vor 4 Minuten schrieb magheinz:

2. Sinnvoll ungleich notwendig. 

Sicher, aber obiges BEsipiel zeigt, dass es weder das eine noch das andere zu sein scheint. ;)

[testperson 1.707]

Hi,

 

das wird hier ganz gut erklärt: https://charbelnemnom.com/2015/04/the-available-processor-sets-of-the-underlying-physical-nics-belonging-to-the-lbfo-team-nic-are-not-configured-correctly-hyperv-vmq-rss-lbfo/

 

Gruß

Jan

[magheinz 110]

 

vor 13 Minuten schrieb testperson:

Hi,

 

das wird hier ganz gut erklärt: https://charbelnemnom.com/2015/04/the-available-processor-sets-of-the-underlying-physical-nics-belonging-to-the-lbfo-team-nic-are-not-configured-correctly-hyperv-vmq-rss-lbfo/

 

Gruß

Jan

Wenn man den Artikel gelesen hat, dann installiert man doch lieber gleich einen esxi... 

[v-rtc 88]

vor 9 Minuten schrieb magheinz:

 

Wenn man den Artikel gelesen hat, dann installiert man doch lieber gleich einen esxi... 

Warum? Gerade keine Zeit zum lesen :)