Ein KI-Agent kann Code schreiben, Daten auswerten und Experimente starten. Das beantwortet noch keine offene Forschungsfrage. Eine neue Shadow-Evaluation macht diese Lücke sichtbar: Zwei Agentensysteme bekamen sechs Tage Zeit, eine virtuelle Maschine, Webzugriff und mehrere tausend Dollar Compute. Technisch kamen sie weit. Wissenschaftlich blieben die Ergebnisse in beiden Fällen hinter der Schwelle zurück, die für eine überzeugende ML-Forschungsarbeit nötig wäre.
Das Wichtigste in 30 Sekunden
- Die Studie prüfte zwei offene Forschungsfragen aus unveröffentlichten NeurIPS-2026-Einreichungen, ohne den Agenten Paper oder Lösung zu zeigen.
- Die Agenten erledigten die Engineering-Arbeit ohne menschliche Hilfe, entwickelten aber keine überzeugende Antwort auf die eigentliche Forschungsfrage.
- Die Originalautoren bewerteten die beiden Arbeiten mit 2/6 („Reject“) und 1/6 („Strong Reject“).
- Die zentrale Grenze liegt nicht beim Schreiben von Code, sondern bei Hypothesenwahl, Backtracking, Evidenzgewichtung und dem Urteil über die Veröffentlichungsreife.
Engineering ist nicht Forschungsurteil
Die schwierige Stelle liegt nicht darin, ein Experiment aufzusetzen. Sie liegt darin, zu erkennen, ob dieses Experiment die Forschungsfrage überhaupt beantwortet. Ein Agent kann Bibliotheken installieren, Code anpassen, Trainingsläufe starten und Ergebnisse dokumentieren. Offene Forschung verlangt zusätzlich eine fortlaufende Auswahl: Welche Hypothese ist tragfähig? Welche Gegenbelege ändern die Richtung? Wann ist ein Ansatz so schwach, dass weitere Compute-Ausgaben nichts mehr bringen?
Diese Entscheidungen greifen ineinander. Ein kleiner Test kann nützlich sein, wenn er eine Hypothese sauber trennt. Er kann aber auch eine Sackgasse verlängern, wenn die Messung zu wenig Aussagekraft besitzt. Genau an dieser Stelle unterscheiden sich technische Ausführung und wissenschaftliches Urteil.
Was die Shadow-Evaluation geprüft hat
Die Primärstudie von Peter Kirgis und seinem Team nennt das Verfahren eine Shadow-Evaluation. Die Agenten erhielten die zentrale offene Frage aus zwei hochwertigen, damals unveröffentlichten NeurIPS-2026-Einreichungen. Die Papers und die jeweiligen Lösungen blieben verborgen. Die Systeme mussten also nicht eine bekannte Methode nachbauen, sondern selbst entscheiden, welche Richtung sie verfolgen.
Für jeden Lauf standen sechs Tage, eine VM, Webzugriff, Experimentressourcen und mehrere tausend Dollar an Compute zur Verfügung. Die Agenten arbeiteten ohne menschliche Hilfe an Code, Experimenten und Manuskript. Die Auswertung übernahmen anschließend die Originalautoren der beiden Aufgaben. Sie beurteilten die Resultate nach dem Maßstab einer Konferenz-Einreichung.
Diese Konstruktion ist anspruchsvoll, aber nicht neutral. Die Autoren wussten, dass sie KI-generierte Arbeiten sahen, und die Stichprobe umfasst nur zwei Forschungsfragen. Deshalb sind die Zahlen ein Hinweis auf eine konkrete Grenze unter diesen Bedingungen, kein Beweis dafür, dass KI grundsätzlich keine Forschung leisten kann.
Zwei Ergebnisse, keine Modellrangliste
Die beiden erzeugten Papers erhielten Bewertungen von 2/6 („Reject“) und 1/6 („Strong Reject“), jeweils mit hoher Konfidenz. Das klingt zunächst wie ein Vergleich zweier Modelle. Darum geht es aber nicht. Die Evaluation sollte zeigen, ob die Systeme eine offene Forschungsaufgabe über mehrere Tage selbstständig in Richtung eines belastbaren Beitrags entwickeln können.
In beiden Fällen blieb die Antwort ernüchternd: Die technische Arbeit kam voran, der substanziell neue Forschungsfortschritt blieb aus. Ein Robustheitslauf mit Codex und GPT-5.6 Sol Ultra sowie einem anderen Scaffold zeigte laut Studie ähnliche Probleme. Das spricht gegen die einfache Erklärung, allein der erste technische Unterbau habe den Versuch verdorben. Eine breitere Replikation ersetzt dieser Lauf trotzdem nicht.
Fünf Muster in der Forschungsschleife
Die Autoren beschreiben wiederkehrende Fehler, die sich nicht auf einzelne Tippfehler oder fehlende Bibliotheken reduzieren lassen. In beiden Läufen nutzten die Systeme zudem weniger als die Hälfte des verfügbaren API-Budgets und legten sich nach frühen, unterdimensionierten Tests zu schnell auf schwache Richtungen fest.
| Forschungsschritt | Beobachtete Grenze | Warum das zählt |
|---|---|---|
| Veröffentlichungsreife | Die Agenten erkannten nicht zuverlässig, wann die Evidenz für einen Beitrag nicht ausreichte. | Ein fertiger Text ist noch kein tragfähiges Paper. |
| Reaktion auf Designschwächen | Schwache Ergebnisse führten zu wenig kreativen Anpassungen. | Neue Experimente brauchen eine bessere Frage, nicht nur mehr Varianten. |
| Backtracking | Die Systeme verließen Sackgassen zu spät oder änderten die Richtung nicht konsequent. | Offene Forschung verlangt, verworfene Annahmen sichtbar zu machen und neu anzusetzen. |
| Ressourcen- und Kontextwahrnehmung | Budget, Zeit und Aussagekraft der Tests wurden nicht gut zusammengeführt. | Compute ersetzt kein Urteil darüber, welcher nächste Test Information bringt. |
| Instruction Drift | Die Arbeit entfernte sich im Verlauf vom eigentlichen Forschungsziel. | Lang laufende Agenten brauchen überprüfbare Zwischenziele und Abbruchpunkte. |
Warum klare Workflows leichter sind
Andere Studien zeichnen ein differenzierteres Bild. Der Benchmark SciAgentArena untersucht ungefähr 200 wissenschaftliche Aufgaben aus Bereichen wie Wirkstoffforschung, Einzelzell- und räumlicher Omik, EHR-Modellierung und Genetik. Dort waren Agenten bei klar spezifizierten Daten-Workflows stärker als bei echter Neuheit, selbstgesteuerter Exploration und offenen Forschungsfragen.
Auch die Corral-Studie kommt mit einem anderen Design zu einem ähnlichen methodischen Hinweis: In mehr als 25.000 Läufen über acht wissenschaftliche Bereiche wurde Evidenz häufig ignoriert; refutationsgetriebene Überarbeitung blieb selten. Die dort genannten 68 Prozent und 26 Prozent gehören ausschließlich zu dieser Untersuchung. Sie sind keine Messwerte der Shadow-Evaluation.
Für den praktischen Einsatz macht dieser Unterschied viel aus. Ein klar begrenzter Auftrag – Daten bereinigen, eine Reproduktion ausführen, Varianten vergleichen oder einen Bericht strukturieren – lässt sich leichter prüfen. Bei einer offenen Forschungsfrage muss das System selbst mit Unsicherheit umgehen. Genau dort werden Protokolle über Hypothesen, Tests, Ressourcen und Kurswechsel unverzichtbar.
Was der AI-Scientist-Kontrast zeigt
Die Nature-Arbeit „Towards end-to-end automation of AI research“ beschreibt eine Pipeline, die Ideen generiert, Code schreibt, Experimente ausführt, Daten analysiert, Manuskripte verfasst und sich selbst bewertet. Ein Manuskript bestand die erste Runde eines Workshops mit einer Annahmequote von 70 Prozent. Das zeigt, wie weit sich Forschungsabläufe automatisieren lassen.
Es beantwortet aber eine andere Frage. Ein Workshop mit klarerem Rahmen ist nicht dasselbe wie die unabhängige Wahl und Korrektur einer offenen Forschungsrichtung auf dem Niveau einer Top-ML-Konferenz. Der Erfolg einer Pipeline und die Qualität wissenschaftlicher Urteile dürfen deshalb nicht in eine einzige Kennzahl gepresst werden.
Was Forschungsteams jetzt instrumentieren sollten
Für Hochschulen, Forschungsinstitute und Unternehmen in Deutschland und der EU liegt die praktische Frage nicht bei einem pauschalen Ja oder Nein zu Agenten. Sie lautet: Wie wird ein Agentenlauf prüfbar, reproduzierbar und verantwortbar?
Vier Kontrollpunkte für den Einsatz
- Hypothesenprotokoll: Jede neue Richtung sollte mit ihrer Begründung, den erwarteten Beobachtungen und den Abbruchkriterien gespeichert werden.
- Ressourcenlog: Zeit, Compute und Datenzugriffe gehören neben dem Endergebnis in die Auswertung.
- Backtracking-Signal: Ein Team sollte sehen können, wann ein Agent eine Annahme verwirft, nur umformuliert oder trotz Gegenbelegen fortsetzt.
- Menschliche Freigabe: Hypothesenwahl, Interpretation widersprüchlicher Evidenz und die Entscheidung über eine Veröffentlichung bleiben kontrollierte Übergaben.
So eingesetzt sind Agenten zunächst gut instrumentierte Forschungsassistenten: Sie können Reproduktionen vorbereiten, Daten aufbereiten, Variantenläufe organisieren und Dokumentation beschleunigen. Die wissenschaftliche Autorschaft und die Verantwortung für Schlussfolgerungen liegen damit nicht automatisch beim System.
Meine Einschätzung
Die Studie zeigt keine Grenze zwischen „kann Forschung“ und „kann keine Forschung“. Sie zeigt eine Lücke zwischen Arbeitsschritten und Urteil. Solange ein Agent nicht zuverlässig begründen kann, warum eine Hypothese aufgegeben, ein Test erweitert oder eine Schlussfolgerung zurückgenommen werden muss, sollte er offene Forschungsprojekte nicht ohne engmaschige menschliche Kontrolle steuern.
Die offene Frage bleibt die Bewertbarkeit
Die zwei Fallstudien sind klein und nicht blind bewertet. Trotzdem treffen sie einen Punkt, der bei vielen Agentenbenchmarks leicht verloren geht: Ein überzeugender Output kann aus einer unklaren oder abkürzenden Prozessspur stammen. Für autonome Forschung reichen deshalb Endergebnisse allein nicht aus. Bewertungsstandards müssen auch zeigen, welche Hypothesen geprüft wurden, welche Gegenbelege vorlagen und warum der nächste Schritt gewählt wurde.
Erst wenn solche Spuren reproduzierbar ausgewertet werden können, lässt sich die Frage nach „autonomer Forschung“ sachlich beantworten. Bis dahin ist der verlässlichere Einsatzbereich nicht die freie Forschungsleitung, sondern die kontrollierte Unterstützung klar abgegrenzter Aufgaben.
Quellen und weiterführende Informationen
- Peter Kirgis et al.: „Can AI agents conduct open-ended AI research? Early evidence from two case studies“, arXiv v2, 07.08.2026 – https://arxiv.org/abs/2607.27191
- Nature: „AI isn’t ready to research itself“, 13.08.2026 – https://www.nature.com/articles/d41586-026-02494-5
- Chris Lu et al.: „Towards end-to-end automation of AI research“, Nature, 25.03.2026 – https://doi.org/10.1038/s41586-026-10265-5
- Tianyu Liu et al.: „Benchmarking AI Agents for Addressing Scientific Challenges Across Scales“, arXiv, 10.06.2026 – https://arxiv.org/abs/2606.12736
- Martiño Ríos-García et al.: „AI scientists produce results without reasoning scientifically“, arXiv, 20.04.2026 – https://arxiv.org/abs/2604.18805
- Peter Kirgis et al.: „Log analysis is necessary for credible evaluation of AI agents“, arXiv, 08.05.2026 – https://arxiv.org/abs/2605.08545
Hinweis: Für diesen Artikel wurden KI-gestützte Recherche- und Editierwerkzeuge verwendet. Der Inhalt wurde redaktionell geprüft. Stand: 2026-08-15
