Wenn der Fritz auf dem aktuellsten Firmwarestand (mind. 7.57) ist, dann sollte man darüber auch mit Wireguard ein VPN machen können: https://avm.de/service/wissensdatenbank/dok/FRITZ-Box-6670-Cable/3448_VPN-mit-FRITZ/
Mit IPV6 soll das auch funktionieren, hab ich kürzlich irgendwo gelesen aber nicht weiter abgespeichert. Es kann auch sein, dass ihr eine gebrandete FB habt, die das erforderliche Update vom Provider nicht kriegt, dann bleibt wirklich nur eine richtige Firewall.