Ein KI-Agent bekommt den Quellcode eines Programms und soll darin eine Sicherheitslücke finden und schließen. Anschließend prüft ein automatischer Test, ob der Angriff scheitert und die normalen Funktionen erhalten bleiben. Genau diese Aufgabe stellt der neue Prüfstand CWE-bench v2.
Das Unternehmen Collinear AI hat ein öffentliches Set mit 100 Aufgaben vorgestellt. Es nutzt echte Open-Source-Codebestände und soll zeigen, wie gut KI-Systeme Schwachstellen beheben. Die Ankündigung vom 3. November nennt erste Ergebnisse und macht zugleich die Grenzen des Tests sichtbar.
Eine Reparatur muss zwei Seiten bestehen
Der Agent erhält eine Kopie des Softwareprojekts und eine kurze Arbeitsanweisung. Er muss den problematischen Code untersuchen und ändern. Danach führt ein Prüfprogramm vorbereitete Eingaben gegen die bearbeitete Software aus.
Das ist mehr als die Frage, ob ein Modell eine auffällige Codezeile benennen kann. Eine vermeintliche Reparatur könnte beispielsweise eine Funktion vollständig abschalten. Ein bestimmter Angriffsweg wäre blockiert, aber das Programm erfüllte seinen Zweck nicht mehr. Der Benchmark prüft deshalb beide Seiten: Vorgesehene Angriffsversuche sollen scheitern, legitime Fälle weiter funktionieren.
Laut Datensatzbeschreibung ist ein Versuch nur erfolgreich, wenn alle vorgesehenen Angriffs- und Funktionstests bestehen. Kann eine Testumgebung selbst nicht gebaut werden, wird der Versuch laut Beschreibung nicht einfach als Fehlschlag gewertet.
Was steckt in den Aufgaben?
Die 100 öffentlichen Aufgaben decken nach Angaben der Entwickler 91 unterschiedliche CWE-Typen ab. CWE steht für „Common Weakness Enumeration“, eine Sammlung von Kategorien für bekannte Arten von Softwareschwächen. Eine Kategorie beschreibt ein Fehlermuster; sie ist nicht selbst eine einzelne Sicherheitslücke in einem bestimmten Produkt.
Die Aufgaben verteilen sich auf acht Programmiersprachen, darunter Go, Java, JavaScript, C, C++ und Python. Der Prüfstand fragt also nicht nur nach einer einzigen Sorte Fehler oder einer bestimmten Sprache. Seine Bandbreite bleibt durch die konkrete Auswahl der Aufgaben begrenzt.
Die Dateien des öffentlichen Sets können Interessierte über Hugging Face beziehen. Dafür müssen sie laut Datensatzseite zunächst Zugangsbedingungen akzeptieren. Die Projektseite nennt darüber hinaus 150 zurückgehaltene Aufgaben. Sie sollen Fortschritte auch an Aufgaben messbar machen, die nicht aus dem öffentlichen Set bekannt sind.
Was die Ergebnisse aussagen
In der Ankündigung nennt Collinear AI für das öffentliche Set elf ausgewertete Modelle. Gemini 4 Argon erreicht dort laut Anbieter 67,8 Prozent bei „pass@1“ und 81 Prozent bei „pass@4“. Vereinfacht steht der erste Wert für den Erfolg eines einzelnen Versuchs; der zweite berücksichtigt, ob unter vier Versuchen mindestens einer gelingt. Mehr Versuche bedeuten daher nicht, dass jede Antwort zuverlässig war.
Die Zahlen gelten für die beschriebenen Aufgaben und Bedingungen. Auf der Projektseite gibt es außerdem eine gemeinsame Rangliste für öffentliche und zurückgehaltene Aufgaben. Deren Werte haben eine andere Grundlage und sollten nicht unmittelbar mit denen für die 100 öffentlichen Aufgaben verwechselt werden.
Ein bestandenes Beispiel bedeutet: Die Änderung hat die vorgesehenen Angriffe abgewehrt und die geprüften erlaubten Fälle erhalten. Andere Angriffsmöglichkeiten oder ungetestete Nutzungen können außerhalb dieser Prüfung liegen. Für Entwicklungsteams ist der Prüfstand ein Werkzeug zum Vergleichen von Agenten unter gemeinsamen Bedingungen, kein allgemeines Gütesiegel für die Sicherheit einer Software.
Quellen
- Collinear AI: CWE-bench v2, 3. November 2026
- Collinear AI: Datensatzbeschreibung
- CWE-bench: Projektseite und Rangliste
Für diesen Artikel wurden KI-gestützte Recherche- und Editierwerkzeuge verwendet. Der Inhalt wurde redaktionell geprüft.
