Noch als Info:
Das Problem trat am Dienstag 10:40 Uhr erneut auf, obwohl alle User schon seit mehreren Stunden gearbeitet haben.
Wir haben dabei dann abermals alle möglichen Leistungsindikatoren auf dem Exchange kontrolliert, genauso den Virtualisierungsserver und das Storage bzw. die Storagevirtualisierung.
ExMon hat keine auffälligen Dinge gezeigt. Ja es gibt noch zwei Benutzer mit einem 2003er Outlook, aber von denen hat auch keiner das Problem ausgelöst.
Letztendlich haben wir dann über den Ressourcenmonitor von Windows gemeinsam mit dem Process Monitor von Microsoft gesehen, dass außer Exchange nur noch der Virenscanner (ESET Mailsecurity für Exchange) läuft. Eigentlich hatte ich den ESET schon längst deaktiviert, um den als Fehlerquelle auszuschließen, aber anhand der beiden Tools sieht man, dass er fröhlich weiter scannt.
Dann kam die Idee, den ESET zu deinstallieren. Das war dann leider der nächste Fehler. Das habe ich anhand eines KB Artikels von ESET gemacht, genau nach der Anleitung. Das Uninstaller-Log hat angeblich alles erfolgreich ausgeführt. Dabei entfernt ESET auch gleich die Netzwerkkarte vom Server bzw. den Treiber. Das hat dazu geführt, dass wir zwei Stunden gebraucht haben, um die virtuelle Netzwerkkarte wieder zum laufen zu bringen. Einfach in VMware einen neuen Adapter einfügen etc. hat da keinen Erfolg gebracht. VMware Tools mit den Treibern haben sich erst nach 15 Minuten installieren lassen, weil die "kaputte Netzwerkkarte" den ganzen Server (in Windows) lahmgelegt hat. Dann war der Treiber drauf und wir haben der NIC wieder die richtige IP verpasst, rebootet, und das gleiche Problem wieder gehabt ... dann haben wir die NIC per cmd auf DHCP eingestellt und danach händisch die eigentliche IP eingetragen. Dann die Exchange-Dienste durchgestartet.
Dann lief der Transportdienst nicht mehr an. Ich hatte übrigens kurz zuvor mit dem ESET-Support telefoniert, um zu fragen, ob es solche Probleme schon mal bei anderen Kunden gab - natürlich nicht. Okay. ESET hatte sich angeblich vollständig deinstalliert. Ein Blick ins Eventlog von Windows zeigt, dass sich der Transportdienst nicht starten lässt, weil er den Transportagent von ESET nicht findet ... ok ... soviel zu "erfolgreich deinstalliert". Nachdem wir noch mit Disable-Transportagent in Exchange beide ESET-Agents deaktiviert haben, ging Exchange erstmal wieder wie gewohnt.
Ich vermute (!) mal, dass ESET sich da nicht selber vollkommen entfernen kann, weil man die Deinstallation im abgesicherten Modus von Windows ausführen muss und dabei die Exchange-Dienste nicht laufen, so dass die Agents nicht entfernt werden können. Ist nur eine Vermutung, aber auf jeden Fall unpraktisch. Oder es wurde in der Routine einfach vergessen.
Nachdem mir dann 30 Leute im Nacken saßen, war das Problem dann nach 4 Stunden gelöst.
Der eigentliche Auslöser ist vermutlich (!) der Hintergrundscanner von ESET gewesen. Der ist so nett und scannt bei jedem Signaturupdate die kompletten Postfachdatenbanken neu. Das würde auch erklären, warum das zu unterschiedlichen Zeiten bei unterschiedlichen Nutzerzahlen aufgetreten ist. Und ja, den Hintergrundscanner kann bzw. sollte man wohl (jetzt aus Erfahrung) deaktivieren. Letztendlich wars also ein Konfigurationsproblem, wobei es auch schade ist, dass ESET sich so verhält, dass es den Exchange komplett ausbremst und nicht in kleineren Häppchen scannt.
Vielleicht hilft es jemandem an anderer Stelle weiter.