Terminalserver extrem hohe CPU Last, RDP Disconnects

[illumina7 3]

Hallo zusammen,

habe eine Terminalserverfarm bestehend aus 4 RDSH und 1 Broker, Umgebung läuft unter Hyper-V auf Basis Server 2016 ENT, die Farm besteht komplett aus Server 2019 ENT.

Hardwarebasis Hyper-V Hosts: Supermicro Server: 2x Epyc 7302, 256GB Ram, Raid10 aus NVMe SSDs, nvidia Quadro P1000

Die RDSH haben folgende Specs: 8 vCPUs, 48GB Ram, 100GB HDD, Remote-FX 1GB Ram zugewiesen, Userprofiledisks auf einem gemeinsamen Share

 

Problem: schon mit 5-6 Usern hat ein RDSH 60-70% CPU Last, selbst wenn die User nichts weiter machen. Dabei sehe ich aber weder im Task-Manager/Ressourcenmonitor noch mit dem Process Explorer irgendwelche Dienste/Anwendungen, die die CPU Leistung verbrauchen. Sind dann mal um die 10 User auf einem RDSH, dann laufen die durchgehen bei 80-100%, sobald mal für ein paar Sekunden die 100% CPU Auslastung gehalten wird, werden einzelne User immer wieder getrennt, brauchen beim neu Verbinden wieder mehr CPU Power, dann wird wieder ein anderer getrennt usw.

So gut wie alle unnötigen Dienste sind deaktiviert, wir nutzen Windows Defender als Virenschutz. 

Dabei geht es nach einem Reboot relativ gut, aber mit zunehmender Laufzeit verschwindet immer mehr CPU Rechenleistung im Nirvana, irgendwann sogar so viel, dass selbst wenn kein User mehr arbeitet noch durchgehend 50-60% CPU Last im Idle dauerhaft anliegt.

 

Jemand eine Idee wie ich der Ursache auf die Spur kommen könnte?

[zahni 554]

Ich tippe auf RemoteFX. RemoteFX wurde von MS gestrichen und in 2019 deaktiviert.

[cj_berlin 1.323]

Moin,

nur nebenbei: Server Enterprise gibt es seit 2012 nicht mehr.  

RemoteFX ist ein Ansatz. Ansonsten mal nach den Klassikern wie Energie-Profil im Host schauen.

Ist bei Dir dieser Schwachsinn mit den Per-User-Firewall Rules bereits abgeschaltet? Falls nicht, bereinigen und deaktivieren.

[illumina7 3]

Moin,

äääh sorry mein Fehler, korrekt ist natürlich Datacenter nicht ENT, kp wie ich da drauf gekommen bin

Energie-Profil steht überall auf Höchstleistung (Hosts und Gäste), mit dem Supermicro Distributor habe ich auch schon gesprochen und alle BIOS Einstellungen gecheckt, alles korrekt eingestellt.

RemoteFX ist derzeit nur als Zwischenlösung gedacht, bis GPU-P unter Server 2019 funktioniert, aber darauf verzichten kann ich derzeit auch nicht, da u.a. Zoom und Teams auf den RDSH genutzt wird (deshalb läuft auch noch Server 2016 als Hyper-V Host und kein 2019).

Ich kann es aber temporär mal für einen RDSH deaktivieren und schauen ob sich an der CPU Last etwas ändert.

 

[cj_berlin 1.323]

Hmmm.... Teams? Wie ist es denn installiert? Machine wide oder per User?

[zahni 554]

Hast Du keine Windows-Updates installiert? RemoteFX wurde im April 2021 aus Windows entfernt:

 

https://docs.microsoft.com/de-de/windows-server/virtualization/hyper-v/plan/plan-for-gpu-acceleration-in-windows-server

[illumina7 3]

Am 4.1.2022 um 19:58 schrieb cj_berlin:

Hmmm.... Teams? Wie ist es denn installiert? Machine wide oder per User?

Machine Wide installiert inkl. WVD Dienst, läuft so weit gut. Zoom mit VDI Plugin läuft auch gut.

Am 5.1.2022 um 16:00 schrieb zahni:

Hast Du keine Windows-Updates installiert? RemoteFX wurde im April 2021 aus Windows entfernt:

 

https://docs.microsoft.com/de-de/windows-server/virtualization/hyper-v/plan/plan-for-gpu-acceleration-in-windows-server

Hosts laufen derzeit ohne Updates, ist mir bekannt, dass das Feature abgekündigt und deaktiviert worden ist, können aber derzeit nicht darauf verzichten. Sobald GPU-P funktioniert werden wir von RemoteFX wechseln.

[testperson 1.680]

Hi,

 

ggfs. wäre Citrix Virtual Apps and Desktops samt der Teams- und Zoom-Optimierung (und weiteren) ein Ansatz? Sollte jedenfalls besser sein, wie ungepatchte Systeme.

 

Gruß

Jan

[zahni 554]

vor 4 Stunden schrieb illumina7:

Hosts laufen derzeit ohne Updates, ist mir bekannt, dass das Feature abgekündigt und deaktiviert worden ist, können aber derzeit nicht darauf verzichten. Sobald GPU-P funktioniert werden wir von RemoteFX wechseln.

Sorry, aber dann können wir nicht mehr helfen. Mit Updates werden auch andere Bugs behoben. Vielleicht hast Du ja irgendein Problem, dass schon lange behoben wurde? 

Wir sagen unseren Mitarbeitern immer, dass Sie im HO sich den Teams-Link nach Hause schicken oder sich dort gleich direkt in Teams anmelden sollen. 

[illumina7 3]

vor 12 Stunden schrieb testperson:

Hi,

 

ggfs. wäre Citrix Virtual Apps and Desktops samt der Teams- und Zoom-Optimierung (und weiteren) ein Ansatz? Sollte jedenfalls besser sein, wie ungepatchte Systeme.

 

Gruß

Jan

Naja die Gäste (RDSH und alle anderen VMs) sind schon komplett gepatched, nur wie gesagt die Hosts entsprechend derzeit nicht.

 

Teams und Zoom laufen auch via VPN vom HO sehr gut, nur verbraucht irgendetwas massiv CPU Leistung auf den RDSH VMs, das ich nicht finden kann.

 

vor 7 Stunden schrieb zahni:

Sorry, aber dann können wir nicht mehr helfen. Mit Updates werden auch andere Bugs behoben. Vielleicht hast Du ja irgendein Problem, dass schon lange behoben wurde? 

Wir sagen unseren Mitarbeitern immer, dass Sie im HO sich den Teams-Link nach Hause schicken oder sich dort gleich direkt in Teams anmelden sollen. 

Zum Patchstand: Hyper-V Hosts sind aktuell leider ungepatched, Gäste sind aktuell, wir sind schon am überlegen wie wir weiter vorgehen, wenn MS nicht zeitnah das Nachfolgefeature zu RemoteFX zur Verfügung stellt. Ggf. auf einen anderen Hypervisor wechseln, der die GPU Leistung auf mehrere VMs aufteilen kann.

 

Unser IT-Sicherheitskonzept sieht nicht vor, dass MitarbeiterInnen außerhalb der virtuellen Umgebung im Homeoffice arbeiten, das ist leider keine mögliche Lösung.

 

 

[zahni 554]

vor 27 Minuten schrieb illumina7:

Unser IT-Sicherheitskonzept sieht nicht vor, dass MitarbeiterInnen außerhalb der virtuellen Umgebung im Homeoffice arbeiten,

Letzte Beitrag: Bei Teams ist das eher völlig egal. Du musst es nur rńur richtig administrieren.

[illumina7 3]

Am 7.1.2022 um 11:19 schrieb zahni:

Letzte Beitrag: Bei Teams ist das eher völlig egal. Du musst es nur rńur richtig administrieren.

An Teams möchte ich mich jetzt nicht mal so sehr aufhängen, ein laufendes Teamsmeeting auf dem RDSH benötigt 1-3% CPU Leistung, das bringt die VMs nicht auf 100% Last.

 

Bis jetzt hatte ich noch keine Möglichkeit RemoteFX testweise abzuschalten, da hier rund um die Uhr 100 User arbeiten und ich erst einen Wartungstermin kommunizieren muss.

 

Abseits von RemoteFX sonst noch Vorschläge wie ich das Problem eingrenzen könnte?

[illumina7 3]

So habe letzte Nacht kurzfristig RemoteFX deaktiviert und den Hyper-V durchgepatcht.

Die Lage hat sich aber eher verschlimmbessert, aktuell sind noch wenige User eingeloggt und die einzelnen RDSH haben schon durchgehend 80-90% Last ohne dass viel läuft (hauptsächlich MS Office). Interessanterweise kommt die CPU Last aber auch nicht von den Usern, da sind atm 5-6 User auf einem RDSH und pro User liegts so bei 1-3% mit Peaks auf 10%, weiterhin zeigt mir weder der Ressourcenmonitor noch ProcessExplorer an wohin die Leistung verschwindet.

[djmaker 95]

Hast du bereits mit dem Systernals Process Explorer mal tiefer in die Eingeweide geschaut? Bist Du bereits ALLE Eventlogs der Server durch?

[illumina7 3]

Am 11.1.2022 um 09:21 schrieb djmaker:

Hast du bereits mit dem Systernals Process Explorer mal tiefer in die Eingeweide geschaut? Bist Du bereits ALLE Eventlogs der Server durch?

Ja, das hatte ich aber inzwischen 3mal geschrieben.

 

Also ich weiß nicht so wirklich warum, aber ich habe aufgrund der dauerhaft hohen CPU Hintergrundauslastung den RDSH VMs mehr vCPU Cores zugewiesen, bzw. musste ich da alles extrem zäh gelaufen ist, statt 8 hab ich jeder VM 16 vCPUs zugewiesen. Jetzt ist die rätselhafte Hintergrundauslastung komplett verschwunden und die RDSH laufen subjektiv auch mindestens 5mal so schnell wie vorher.

Erklären kann ich es mir auch nicht wirklich, jemand eine Idee? Oder ist Server 2019 einfach so ressourcenhungrig, dass es als RDSH richtig viel Power braucht um rund zu laufen? Kann mich noch an Server 2012R2 RDSH Installationen erinnern, bei denen auf einer 4C/8T Maschine mit 48GB Ram und HDD Storage gut 50 User gearbeitet haben.