Ich habe es gefunden und der Server läuft wieder. In meinem Fall war es der Avast Antivir.
In der Exchange Management Shell findet man mit get-transportagent alle gestarteten Transport Agents. Ich habe, weil der Microsoft Transportdienst sich immer beendet hat den Avast verdächtigt. Hier fand ich "avast antispam for exchange" als Fehlermeldung im Eventlog. Diesen konnte ich aber mit disable-transportagent "avast antispam for exchange" beenden, weil er nicht dort war. Bei der suche fand ich aber den oben genannten Agenten, welchen ich mit disable-transportagent "avast plugin for exchange" beendete. Anschließend den Exchange Transportdienst starten und sofort wurden alle Mails zugestellt. Mit dem Exchange Toolkit konnte ich sofort sehen, wie sich die Warteschlangen geleert haben.