Geh mal unter Systemsteuerung->Software->Programmzugriff und -standards, da muss das Häckchen vor Internet Explorer gesetzt sein dami er als Standard-Browser fungiert.
Hast du schon mal unter C:\Dokumente und Einstellungen\%Dein Userprofil%\Desktop nachgeguckt wegen dem Ordner und ihn versucht von dort aus zu löschen?