Empfehlung CPU und Einstellungen für Hyper-V

[mwiederkehr 373]

Hallo zusammen

 

Anlässlich der Beschaffung neuer Hosts bin ich am Evaluieren einer geeigneten CPU. Dabei bin ich auf den Xeon 6444Y gestossen. Mit zwei solchen CPUs pro Host kämen wir auf ein Verhältnis vCPU:CPU von 4:1. Die CPU hat einen Basistakt von 3.6 GHz und einen Turbo-Takt 4.1 GHz.

 

In den Spezifikationen bin ich auf folgende relevanten Features gestossen:

 

Intel® Speed Select Technology - Base Frequency

Damit lässt sich der Basistakt von vier "high priority" Cores auf 3.7 GHz erhöhen, während die restlichen zwölf "low priority" Cores auf 3.2 GHz abgesenkt werden.

 

Intel® Speed Select Technology – Turbo Frequency

Damit kann bei einer einstellbaren Anzahl Cores der Turbo-Takt erhöht werden, bei gleichzeitiger Reduktion des Turbo-Takts der anderen Cores.

 

Leider habe ich keine Informationen zu diesen Features im Zusammenhang mit Hyper-V gefunden. Mir ist bekannt, dass Hyper-V nicht mit den Performance- und Efficiency-Cores der aktuellen i5 und i7 umgehen kann (bootet nicht). Das ist aber nicht direkt vergleichbar, da bei den Xeon alle Cores identisch sind, einfach anders getaktet.

 

Kann Hyper-V bei Server 2022 die Features nutzen und die Workloads sinnvoll verteilen, oder lässt man solche Sachen am besten deaktiviert? Oder regelt die CPU das selbst? Also wird der Core höher getaktet, auf dem es etwas zu tun gibt und nicht einfach Core Nummer 1 und das Scheduler vom OS muss das wissen und den arbeitenden Prozess dort hin verschieben?

 

Wie ist die Empfehlung bezüglich Power Management? Immer noch auf "High Performance" stellen oder ist "OS Control" bei modernen OS mittlerweile besser?

 

Besten Dank für eure Tipps!

[NilsK 2.934]

Moin,

 

ich habe dazu nichts Belastbares - würde aber mal die Frage in die Runde werfen, wieviel Einfluss du bei der CPU in deinem Szenario vermutest. In den allermeisten "General-Use-Szenarien" ist die CPU nicht der Flaschenhals. Daher würde ich da nicht viel rumoptimieren und auch keine Risiken eingehen, sondern die genannten Features, falls möglich, abschalten.

 

Gruß, Nils

 

[Nobbyaushb 1.471]

vor 2 Stunden schrieb mwiederkehr:

Mir ist bekannt, dass Hyper-V nicht mit den Performance- und Efficiency-Cores der aktuellen i5 und i7 umgehen kann (bootet nicht). Das ist aber nicht direkt vergleichbar, da bei den Xeon alle Cores identisch sind, einfach anders getaktet.

 

 

Kann ich nicht bestätigen und auch noch nie gesehen.

Mein Notebook hat einen i7 mit 8 Cores und kein Problem

(ja, nutze auch die Hyper-V-Funktion vom W10/11)

vor 2 Stunden schrieb mwiederkehr:

 

Wie ist die Empfehlung bezüglich Power Management? Immer noch auf "High Performance" stellen oder ist "OS Control" bei modernen OS mittlerweile besser?

Ich stelle Hyper-V-Hosts(Server!) immer auf Höchstleistung 

zusätzlich verwende ich noch einen Reg-Key, damit das Host-OS erst gar nicht auf die Idee kommt

Auf Empfehlung eines richtigen Spezialisten kein Hyper-Threading!

Immer gerade Anzahl Cores, 2,4,8,16

Und RAM (außer im Lab) immer fix

 

[mwiederkehr 373]

Besten Dank für Deine Antwort, Nils. Es geht primär um kurzzeitige Peaks (Terminalserver) und längere Vollauslastung einzelner Cores (Katalogaufbereitung von XML zu PDF, läuft nur auf einem Core und dauert mehrere Stunden). Insofern erachte ich einen hohen Turbo-Takt als wichtig. Das bestehende System krankt etwas daran, dass die Parallelisierung überschätzt wurde. Sehr viele Cores, aber geringer Takt.

 

Ich würde aber auch sagen, dass 3.6/4.0 GHz besser sind als auf 1/4 der Cores 3.7/4.0 GHz und den restlichen nur 3.2 GHz.

 

Falls Du Dich entschliessen solltest, ein gewisses Buch zu aktualisieren, hättest Du einen Käufer auf sicher. Es ist erstaunlich, wie wenig man zu der Materie im Internet findet. Bei Intel gibt es diverse Benchmarks, aber alle ohne Virtualisierung und Microsoft äussert sich überhaupt nicht zu den neuen CPU-Features.

 

vor 7 Minuten schrieb Nobbyaushb:

Kann ich nicht bestätigen und auch noch nie gesehen.

Mein Notebook hat einen i7 mit 8 Cores und kein Problem

(ja, nutze auch die Hyper-V-Funktion vom W10/11)

Auch Dir besten Dank, Norbert. Anscheinend geht es mit Windows 11, nur Windows Server bootet erst wieder, nachdem man die Efficiency Cores deaktiviert hat:
https://www.reddit.com/r/HyperV/comments/s8hgr1/hyperv_on_intel_12900k/

 

vor 17 Minuten schrieb Nobbyaushb:

Ich stelle Hyper-V-Hosts(Server!) immer auf Höchstleistung 

zusätzlich verwende ich noch einen Reg-Key, damit das Host-OS erst gar nicht auf die Idee kommt

Auf Empfehlung eines richtigen Spezialisten kein Hyper-Threading!

Immer gerade Anzahl Cores, 2,4,8,16

Und RAM (außer im Lab) immer fix

Höchstleistung habe ich bis jetzt auch immer verwendet, wobei das wohl je nach Serverhersteller eine andere Bedeutung haben kann. Bei HPE heisst es nicht "lass immer alle Cores im Turbo laufen und ziehe die TDP", sondern es deaktiviert gewisse P- und C-States, sodass sich die CPU nicht zu tief schlafen legt. Gemäss Anzeige im Power Meter vom iLO ist der Stromverbrauch nur ein paar Watt höher als mit "Dynamic Power Saving". Mit "OS Control" und im Windows auf Höchstleistung gestellt, ist er exakt identisch, sodass ich davon ausgehe, dass er das Gleiche macht.

 

Ich dachte nur, vielleicht wäre aktuell "OS Control" besser, weil die OS immer ausgefeilter werden.

 

Was ist die Begründung für "kein Hyper-Threading"? Ich habe das bis jetzt erst wegen Sicherheitsbedenken (verhindert gewisse Side-Channel-Angriffe) gelesen.

 

Bei der Anzahl Cores nehme ich auch immer eine gerade Anzahl und beim RAM ein Vielfaches von 1024, aber ob es wirklich einen Effekt hat, weiss ich nicht. Sieht halt komisch aus sonst.

[BOfH_666 577]

vor 1 Stunde schrieb Nobbyaushb:

Mein Notebook hat einen i7 mit 8 Cores und kein Problem

 

Wenn ich nicht irre, geht es dabei um solche neuen "Client"-Prozessoren, die nach dem big.LITTLE-Konzept aufgebaut sind ... wie so ein Smartphone SOC. Man hat ein paar Performance-Cores und ein paar Efficiency-Cores.   z.B. der Core i5-1240P is so ein Kandidat

 

https://www.intel.de/content/www/de/de/products/sku/132221/intel-core-i51240p-processor-12m-cache-up-to-4-40-ghz/specifications.html

 

Die Efficiency-Cores sind dann zwar schön sparsam, aber natürlich auch in den Funktionen eingeschränkt.

 

Meines Wissens nach gibt es das allerdings bei Serverprozessoren so nicht, weshalb man sich da also auch keine Sorgen drum machen muss.

bearbeitet 9. März 2023 von BOfH_666

[Nobbyaushb 1.471]

vor 5 Stunden schrieb mwiederkehr:

Was ist die Begründung für "kein Hyper-Threading"? Ich habe das bis jetzt erst wegen Sicherheitsbedenken (verhindert gewisse Side-Channel-Angriffe) gelesen.

Wurde mir erklärt, ist aber wieder weg aus dem Kopf - frage gerne nach

 

Ich „vermarkte“ ja gerade (beginnend) den TerraXaler - und da habe ich gelernt Taktfrequenz schlägt Cores und ggf. sogar RAM

 

Und ja, Server-CPU sind bei mir Xeon und Co.

AMD hat da auch ein paar nette Features, aber….

[testperson 1.677]

Hi,

 

Hyper Threading würde ich nur in Szenarien abschalten, wo eine Anwendung / der Support das fordert. Die "Side-Channel-Angriffe" sind in einer Default Konfig ab Server 2019 eh eingedämmt, da dort der Core Scheduler aktiv ist: Understanding and using Hyper-V hypervisor scheduler types | Microsoft Learn

 

Der TerraXaler ist aber auch eine Besonderheit. Der ist ja eine HCI Lösung auf Basis plain S2D oder ist es Data Core? Damals, als ich den TerraXaler kennengelernt habe, hatte er zumindest mal ein unschönes Design fürs HCI. Woran aber wohl gearbeitet wurde.

 

Gruß

Jan

[mwiederkehr 373]

vor 9 Stunden schrieb Nobbyaushb:

Ich „vermarkte“ ja gerade (beginnend) den TerraXaler - und da habe ich gelernt Taktfrequenz schlägt Cores und ggf. sogar RAM

Das kann ich aus meiner Erfahrung für die meisten Szenarien bestätigen, deshalb ist es auch schön, dass es wieder CPUs mit weniger Cores, aber mehr GHz gibt. Gerade in kleineren Umgebungen ist weniger parallelisierbar, als man in der "Multi-Core-Euphorie" angenommen hat. Auf einem Terminalserver startet jemand Word, dann jemand Outlook, aber selten passiert das genau gleichzeitig. Auch in Datenbanken laufen viele Abfragen nur auf einem Core und es kommt nicht häufig vor, dass gleichzeitig mehrere Leute eine Auswertung erstellen. Gute Parallelisierbarkeit, also gleichmässige Auslastung aller Cores, habe ich in der Praxis erst bei Webservern mit vielen Zugriffen und Veeam gesehen.

 

vor 9 Stunden schrieb Nobbyaushb:

AMD hat da auch ein paar nette Features, aber….

Was ist Dein "aber"? Bei mir war es die schlechte Verfügbarkeit der Server bei HPE. DL360 gab es fast immer ab Lager, auf DL365 musste man teils Monate warten. Und ich hatte schon einen Techniker vor Ort, der unverrichteter Dinge wieder abziehen musste, da das Ersatzteil nicht vorrätig war. Ein Kontakt bei HPE hat mir erzählt, die AMD-Systeme verkauften sich in den USA gut, aber in Europa und besonders der Schweiz eher schlecht, deshalb hätten sie auch nichts an Lager. Er hat das begründet mit dem "Billig-Image" von AMD und der höheren Kaufkraft in Europa. Aber vielleicht ist es auch ein Henne-Ei-Problem, wenn die Server nicht verfügbar sind, bestellt man sie nicht.

 

vor 50 Minuten schrieb testperson:

Hyper Threading würde ich nur in Szenarien abschalten, wo eine Anwendung / der Support das fordert. Die "Side-Channel-Angriffe" sind in einer Default Konfig ab Server 2019 eh eingedämmt, da dort der Core Scheduler aktiv ist: Understanding and using Hyper-V hypervisor scheduler types | Microsoft Learn

Interessant, es geht also noch etwas bezüglich Scheduler. Erinnert mich an die Zeiten, als man Linux-Kernel selbst kompiliert hat, mit exotischen Scheduler-Einstellungen, für genau seinen Zweck "optimiert".

 

Eine Begründung gegen Hyper Threading habe ich noch gefunden: Wenn man alle Cores dauerhaft voll auslastet, sind 16 richtige Cores besser als 32 SMT-Cores, weil es weniger Kontextwechsel gibt. Das sind aber eher exotische Szenarien wie Machine Learning. Und wie in Deinem Link nachzulesen ist, reicht Windows Server 2019 die Information über SMT in die VMs durch, deren Scheduler sieht also, ob er vier richtige Cores oder zwei Cores mit SMT hat und kann sich entsprechend verhalten.

[testperson 1.677]

vor 3 Minuten schrieb mwiederkehr:

Wenn man alle Cores dauerhaft voll auslastet, sind 16 richtige Cores besser als 32 SMT-Cores

Ich würde eher sagen, dass dann das Sizing nicht passt oder die (neuen) Anforderungen bedingen weitere Hardware. ;)

[Nobbyaushb 1.471]

Moin,

ich habe jetzt die Antwort von meinem Xaler Spezi:

moin Norbert , Hyperthreading muss nicht aus! Beim Xaler lassen wir das an

Bei Hardwarehosts gibt es Menschen die behaupten, dass eine Abschaltung des HT zu einer verbesserten Leistung des Hosts führt (weil er die zusätzlichen logischen Prozessoren dann nicht „verwalten“ muss

war früher so im Bereich SQL oder Exchange Server im Hochleistungssegment

Also aktuelle Hardware soll das gut machen

Ich habe hier einen 6 Jahre alten Dual-Xeon mit 2*6 Cores und 2,1Ghz

schalte ich da HT an, läuft der wie ein Sack Nüsse

Mein „neuer“ Host ist nicht ganz 4 Jahre alt und da ist HT an, auch 2*6 Core und 2,6Ghz rennt wie erwartet

[zahni 554]

Ich kann nur für ESXI sprechen. Bei Server-Prozessoren lasse ich allen an und stelle das Powermanagement auf "Static High Performance". So nennt sich das bei HPE.

Ansonsten wurde ich immer Prozessoren vorziehen, die eine höhere Single Thread Performance und dafür etwas weniger Cores haben. Vielleicht auch mal in Richtung AMD schielen.

Opteron war ja eher ein Reinfall, aber die Neuen sollen den XEONs teilweise überlegen sein. 

 

PS: https://wccftech.com/a-single-32-core-amd-epyc-9374f-genoa-cpus-beats-dual-intel-xeon-platinum-8380-40-core-cpus/

bearbeitet 10. März 2023 von zahni

[wznutzer 35]

Am 9.3.2023 um 17:57 schrieb Nobbyaushb:

Ich stelle Hyper-V-Hosts(Server!) immer auf Höchstleistung 

zusätzlich verwende ich noch einen Reg-Key, damit das Host-OS erst gar nicht auf die Idee kommt

Darf ich fragen, welcher Key das ist?

Am 9.3.2023 um 17:57 schrieb Nobbyaushb:

Immer gerade Anzahl Cores, 2,4,8,16

Gibt es da einen bestimmten Grund? Ich frage, weil ich auch bei Azure VMs mit CPUs außerhalb der 2er Potenzen mieten kann.

 

Grüße und eine schöne Woche

[Weingeist 159]

Die hoch getakteten F16er von AMD sind erste Sahne! Vorteile dürften gut bekannt sein (PCI-Lanes usw.) Die grössten Nachteile von AMD sind

- Verfügbarkeit

- teilweise lausige Auswahl an hochwertigen Servern

Als ich die ersten EPYC Server bestellt habe, musste ich fast 6 Monate drauf warten während Intel einfach so ab Lager lieferbar gewesen wäre. Hat sich aber heute verbessert. Sowohl Auswahl als auch Verfügbarkeit.

 

VM's kann man schon mit ungerader Core-Zahl erstellen. Host verschenkt man Lizenzkosten. Wichtig ist, dass die VM innerhalb des gleichen Sockels bleibt und auf den "eigenen" RAM zugegriffen wird. Aber das weisst Du vermutlich auch. Negative Auswirkung gibts bei 1 Core und modernem Windows. Insbesondere wenn die Telemetrie läuft.

 

HT: Bei der Deaktivierung gab es bei hoher Auslastung in der einzelnen VM gewisse Vorteile. Der Effekt war sichtbar bei der Übertragungsrate der virtuellen Netzwerkkarte/Zip. Das war etwas schneller ohne HT.

Wie es bei Vollauslastung eines Hosts/starkes Overcommitment aussieht, kann ich nichts beitragen. Auch sind meine Tests ein paar Jahre zurück! Dank 16 Kerne pro Sockel bin ich bei meinen Umgebungen heute in der bequemen Lage, HT gar nicht wirklich zu benötigen. Die Kerne werde meist genügend schnell wieder frei. Sprich ein theoretisches Risiko weniger (Sicherheit).

 

Energieeinstellungen: In der Vergangenheit waren all diese Optimierungen egal welcher Art (Stromsparen, Leistungsverteilung usw.) eher problematisch als hilfreich. Unerklärliche Probleme konnten oft mit dem Wechsel auf die Einstellung Höchstleistung gelöst werden. ABER: Wir  schreiben das Jahr 2023 und somit über 10 Jahre nach Einführung. Es gab diesbezüglich enorme Verbesserungen. Bei Business-Notebooks funktionierts es seit ein paar Jahren, gut möglich, dass es mittlerweile auch im Serverbereich angekommen ist. Freiwillige vor. Aber ganz ehrlich, mir ist egal ob der Takt bei 3.5-4GHZ rund 200MHZ höher ist oder nicht. Bei 1GHZ fange ich dann an zu überlegen/testen. =)

 

RAM: Keine Ahnung wozu das Overcommitment ausserhalb von Testumgebungen gut sein soll. Sobald man es bräuchte wird die Performance unterirdisch.

 

 

Den Trend zu mehr Cores statt MHZ habe ich ebenfalls nie wirklich verstanden und bin nie auf den Zug aufgesprungen.

- nur wenige Tasks profitieren energetisch tatsächlich bei gleicher Performance (heterogene Umgebungen profitieren also eher nicht)

- sehr viele Tasks brauchen die Ergebnisse von vorherigen Berechnungen, also Multicore schwierig

- sehr viele Anwendungen die vielleicht profitieren würden, sind nicht so programmiert

- Overhead ist mit der steigenden anz. Cores im VM-Bereich deutlich höher. Deutlich lieber zwei hohe als vier tief getaktete cores. Je schneller desto schneller fertig/frei.

- Für VDI/Terminal-Server ist es eh diskussionslos wenn man die Anwender fragt, aber die werden ja selten gefragt =)

 

Zum Glück waren die 16xx E5 von Intel so lange verfügbar. Waren halt Single CPU und dafür gabs fast nur von Supermicro schlaues Zeug. Mit den Scalable war dann Ende Gelände, hohe Taktrate völlig unbezahlbar oder CPU's gar nicht verfügbar oder nur in Workstations. Glücklicherweise sprang dann recht bald AMD in die Bresche und Intel musste wohl oder übel nachziehen und massiv an der Preisschraube drehen. Aktuell bin ich dennoch bei AMD geblieben.

[Nobbyaushb 1.471]

Am 13.3.2023 um 13:59 schrieb wznutzer:

Darf ich fragen, welcher Key das ist?

powercfg.exe /setactive 8c5e7fda-e8bf-4a96-9a85-a6e23a8c635c

 

Am 13.3.2023 um 13:59 schrieb wznutzer:

Gibt es da einen bestimmten Grund? Ich frage, weil ich auch bei Azure VMs mit CPUs außerhalb der 2er Potenzen mieten kann.

Wurde mir so in den Schulungen beigebracht

Hat was mit der Abarbeitung der vCPU durch den Host zu tun, kann aber gerne nachbohren wenn du es genau wissen möchtest