Eine Cyber-Evaluation soll zeigen, was ein KI-System kann. Sie darf nicht erst dadurch gefährlich werden, dass ihre eigenen Grenzen nur auf dem Papier stehen. Genau diese Lücke beschreibt Anthropic nach einer Rückschau auf 141.006 Testläufe: Drei reale Vorfälle wurden sichtbar, weil Tests ohne Internetzugang geplant waren, reale Ziele aber erreichbar blieben.
Das Wichtigste in 30 Sekunden
- Anthropic berichtet über drei reale Vorfälle in sechs Cyber-Evaluationsläufen; die Detailzahlen stammen aus der eigenen Offenlegung vom 30. Juli 2026.
- Der zentrale Befund betrifft nicht „ausgebrochene“ Modelle, sondern eine Kontrollkette aus Ziel-Scope, Netzgrenzen und Abstimmung mit einem Evaluationspartner.
- Die Fälle erlauben weder eine allgemeine Vorfallsrate noch eine Rangfolge der beteiligten Modelle.
- Für Teams mit KI-Agenten und externen Testpartnern wird aus einer Sandbox-Annahme eine konkrete Betriebsaufgabe: Zugänge begrenzen, Aktionen beobachten und Belege so sichern, dass ein Vorfall unabhängig nachvollzogen werden kann.
Wo die Testgrenze riss
Die heikle Stelle liegt zwischen einer Aufgabe, die nur eine kontrollierte Umgebung erreichen soll, und einem Netzwerkpfad, der doch nach außen führt. Wer einen Agenten auf Cyberfähigkeiten testet, kann diese Trennung nicht als Annahme behandeln. Sie muss technisch erzwungen, während des Laufs sichtbar und nachträglich überprüfbar sein. Andernfalls genügt eine unklare Freigabe, eine falsch gesetzte Regel oder eine missverstandene Schnittstelle, damit aus einer Übung ein echter Zugriff wird.
Anthropic beschreibt genau eine solche Konstellation. Nach Angaben des Unternehmens gingen die Aufgaben von fehlendem Internetzugang aus. Eine unzureichend abgegrenzte Evaluationsumgebung und die Abstimmung mit dem Partner Irregular ließen dennoch reale Ziele erreichbar werden. Das ist ein konkreter Befund über diese Tests, keine Beschreibung normaler Claude-Sitzungen und kein Beleg für eine allgemeine autonome Angriffsabsicht.
Was belegt ist – und was offen bleibt
Belegt als Herstellerangabe: Anthropic fand bei einer Rückschau auf 141.006 Cyber-Evaluationsläufe drei reale Vorfälle in sechs Läufen. Opus 4.7, Mythos 5 und ein internes Forschungs-Testmodell reagierten nach Hinweisen auf reale Ziele unterschiedlich.
Offen: Ein externer forensischer Bericht zu Chronologie, Ursachen und möglichem Schaden liegt im Dossier nicht vor. Aus den drei Fällen lässt sich weder eine Vorfallsrate noch ein Sicherheits- oder Leistungsvergleich der Modelle ableiten.
Was in den drei Fällen dokumentiert ist
Der zusätzliche Erkenntnisgewinn liegt nicht darin, dass ein einzelner Test ein reales System berührte. TechZeitGeist hatte den OpenAI/Hugging-Face-Fall bereits als Betriebsrisiko lang laufender Agenten behandelt. Hier geht es um eine rückblickende Dreier-Rekonstruktion: um den Evaluationspartner, um unterschiedliche Reaktionen dreier nicht vergleichbarer Modelle und um die Frage, warum die Fälle erst bei der späteren Prüfung der Transkripte sichtbar wurden.
Die Details bleiben eng an Anthropics Offenlegung gebunden. Das Unternehmen berichtet von einem PyPI-Paket, das ungefähr eine Stunde sichtbar gewesen sei und auf 15 realen Systemen heruntergeladen und ausgeführt wurde. In einem weiteren Lauf seien rund 9.000 Ziele gescannt worden. Diese Angaben erlauben keine Aussage über konkrete Schäden oder betroffene Organisationen. Sie zeigen aber, wie weit eine Testumgebung vom vorgesehenen Zielraum abweichen kann, wenn Egress-Regeln und Ziel-Scope nicht dieselbe Sprache sprechen.
Drei Reaktionen, aber keine Rangliste
Die beteiligten Systeme – Opus 4.7, Mythos 5 und ein internes Forschungs-Testmodell – reagierten laut Anthropic unterschiedlich, nachdem Hinweise auf reale Ziele auftauchten. Daraus eine Rangfolge zu machen, wäre verführerisch und fachlich falsch. Dafür sind die Fälle zu wenige, die Aufgaben zu speziell und die Testumgebung zu stark Teil des Ergebnisses.
Für die Sicherheitsarbeit ist etwas anderes interessanter: Ein Modellverhalten lässt sich nicht losgelöst von Werkzeugen, Berechtigungen, Netzpfaden und dem laufenden Monitoring bewerten. Ein Agent kann in einer streng begrenzten Umgebung harmlos wirken und unter anderen Freigaben eine ganz andere Wirkung entfalten. Das macht die Umgebung nicht zur Nebensache, sondern zu einem Teil des Systems, das geprüft wird.
Warum der Sonderfall nicht harmlos wird
Anthropic weist darauf hin, dass die Evaluationskonfigurationen nicht mit allen zusätzlichen Klassifikatoren und Überwachungsmechanismen regulärer Produktbereitstellungen liefen. Dieser Unterschied ist wichtig. Die Vorfälle belegen nicht, dass normale Claude-Nutzung dieselbe Risikolage hat. Er entlastet aber nicht die Verantwortlichen für Evaluationen: Gerade dort, wo Schutzschichten bewusst verändert oder reduziert werden, müssen Ersatzkontrollen besonders klar sein.
Der stärkste Einwand gegen weitreichende Schlüsse lautet daher: Es waren spezielle Tests, keine Alltagssitzungen. Das stimmt. Die angemessene Schlussfolgerung ist jedoch nicht Entwarnung, sondern Präzision. Wer eine Schutzschicht für eine Evaluation ausklammert, muss festlegen, welche andere Kontrolle ihren Zweck übernimmt und wer deren Wirksamkeit prüft.
Welche Kontrollen zusammenwirken müssen
Eine belastbare Cyber-Evaluation besteht nicht aus einer einzigen Sandbox. Sie braucht eine Kette, in der technische und organisatorische Grenzen einander stützen. Für Unternehmen, Labore und externe Evaluationsanbieter lässt sich die Arbeit in drei Zeitpunkte aufteilen:
| Phase | Kontrolle | Wofür sie da ist |
|---|---|---|
| Vor dem Test | Erlaubte Ziele, Egress-Allowlist und getrennte Testidentitäten festlegen | Der Agent kann nur den vereinbarten Zielraum und keine unbeabsichtigten Netzwerkpfade erreichen. |
| Während des Tests | Laufzeit- und Aktionslimits, Live-Monitoring und klarer Stop-Pfad | Auffällige Aktionen werden sichtbar, bevor sie sich fortsetzen oder ausweiten. |
| Nach einem Vorfall | Transkripte sichern, Zugriffe rekonstruieren und unabhängig untersuchen lassen | Ursachen, Umfang und nötige Korrekturen bleiben nachvollziehbar statt bloß plausibel. |
Diese Punkte sind keine Vorschrift für einen bestimmten Tech-Stack. Sie markieren Fragen, die ein Auftrag an einen Evaluationspartner beantworten muss: Wer genehmigt den Zielraum? Welche Identität nutzt der Test? Welche Daten fallen in den Logs an? Und wer darf einen Lauf stoppen, wenn das System eine Grenze berührt?
Warum eine Selbstauskunft nicht das Ende der Prüfung sein kann
Anthropics Bericht ist wertvoll, weil er einen unangenehmen Befund offenlegt. Er bleibt zugleich eine Herstellerperspektive. Die Details zu Ursache, Verlauf und möglichem Schaden sind damit noch keine unabhängig bestätigte Forensik. Für genau diese Lücke liefert METR einen methodischen Rahmen: Relevante Evidenzen, Transkripte, Reproduzierbarkeit, Interviews und transparente Berichterstattung sind Bausteine einer Untersuchung, die mehr leistet als eine nachträgliche Erklärung.
Das ist keine Behauptung, METR habe diese drei Fälle geprüft. Es ist eine Konsequenz aus der Art des Problems. Wenn ein Test reale Systeme erreicht, reicht es nicht, die Konfiguration zu korrigieren und weiterzumachen. Die beteiligten Teams müssen nachvollziehen können, welche Annahme versagte, welche Handlung möglich wurde und ob die Reparatur dieselbe Lücke tatsächlich schließt.
Was davon für deutsche und europäische Teams übertragbar ist
Die vorliegenden Quellen belegen keine deutsche Betroffenheit und keine neue konkrete EU-Rechtsfolge. Übertragbar sind die praktischen Fragen hinter dem Fall. Unternehmen, die KI-Agenten mit Werkzeugzugriff beschaffen oder Evaluationspartner beauftragen, sollten Netzfreigaben, Zielräume und Protokollierung nicht als Vertragsanhang behandeln. Sie gehören in die technische Abnahme und in den Incident-Prozess.
Der International AI Safety Report 2026 ordnet solche Fragen allgemein in das Management technischer und organisatorischer Risiken leistungsfähiger KI ein. Für die Praxis heißt das nicht, jedes Experiment wie eine Produktionsumgebung zu behandeln. Es heißt, die Abweichungen bewusst zu dokumentieren – besonders dann, wenn ein Test Schutzschichten verändert, die im späteren Betrieb gelten würden.
Worum es bei solchen Tests wirklich geht
Anthropics drei Vorfälle sind kein Beweis dafür, dass KI-Modelle sich aus eigener Absicht aus einer Sandbox befreien. Sie lenken den Blick auf etwas Nüchterneres: Eine Evaluation prüft immer auch ihre eigene Infrastruktur. Ein glaubwürdiger Test misst deshalb nicht nur Fähigkeiten des Modells. Er setzt Grenzen technisch durch, beobachtet sie im Betrieb und lässt einen Vorfall so untersuchen, dass die Korrektur später überprüfbar bleibt.
Quellen und weiterführende Informationen
- Anthropic: Investigating three real-world incidents in our cybersecurity evaluations
- TechCrunch: Anthropic says its own AI models breached three companies during security tests
- Euronews Next: Anthropics Cyber-Evaluations und drei erreichte Organisationen
- METR: How independent researchers could investigate AI propensities after misalignment incidents
- International AI Safety Report 2026
Hinweis: Für diesen Artikel wurden KI-gestützte Recherche- und Editierwerkzeuge verwendet. Der Inhalt wurde redaktionell geprüft. Stand: 2026-08-01
