100 Prozent auf ARC-AGI-3 klingt nach einem Sprung beim Modell. NVIDIAs AVO-Lauf zeigt aber etwas Präziseres: Ein Agent kann aus Claude Opus 5 deutlich mehr herausholen, wenn Gedächtnis, Supervisor und Rückkopplung als zusammenhängendes System arbeiten. NVIDIA berichtet, dass AVO alle 25 öffentlichen Umgebungen und 183 Levels des Benchmarks mit einem RHAE-Wert von 100,00 in 6.624 Environment-Aktionen gelöst hat. Für die Leistungsfähigkeit dieses Agentensystems unter den Bedingungen des Public Sets ist das ein starker Befund. Allgemeine Intelligenz oder sicheren Betrieb belegt die Zahl trotzdem nicht.
Der Befund in fünf Sätzen
- Reifegrad
- Demonstration eines vollständigen Agentensystems auf einem öffentlichen Benchmark.
- Beleglage
- Herstellerbericht von NVIDIA, ergänzt durch Benchmark-Methodik und Gegenchecks zu Replays und Harnesses.
- Praxisrelevanz
- Memory, Feedback und lange Aktionsketten werden als Systemaufgabe sichtbar.
- Offener Kernpunkt
- Ob die Leistung auf private, neu erzeugte oder reale Aufgaben übergeht.
- Nächster Nachweis
- Unabhängige Reproduktion mit kontrolliertem Harness und transparenten Betriebskennzahlen.
Was AVO tatsächlich getestet hat
ARC-AGI-3 besteht aus interaktiven Umgebungen ohne erklärte Regeln oder vorgegebenes Ziel. Ein Agent muss aus Beobachtungen eine Hypothese bilden, eine Aktion wählen und an der Zustandsänderung prüfen, ob diese Hypothese trägt. Mehrere Levels verlangen dann, dass er eine gefundene Regel nicht nur einmal trifft, sondern auf neue Anordnungen und Einschränkungen überträgt.
AVO lief laut NVIDIA mit Claude Opus 5 und einer Textschnittstelle auf einem exakten 64×64-Grid. Bilder oder Bildtokens wurden dem Modell in diesem Lauf nicht übergeben. Um über viele Schritte handlungsfähig zu bleiben, kombinierte das System persistent memory, einen Supervisor und einen eigenen Ausführungs- und Feedback-Loop.
Das verändert die Aussage des Ergebnisses. Getestet wurde nicht Claude Opus 5 allein, sondern Claude Opus 5 in einem konkreten Harness. Das Memory soll frühere Zustände und Konsequenzen über die nächste Aktion hinaus verfügbar halten. Der Supervisor soll Stagnation oder unproduktive Zyklen umlenken. Der Ausführungs-Loop verbindet Hypothese, Aktion und beobachtetes Feedback, bis ein Level abgeschlossen ist.
Warum 100,00 nicht „allgemeine Intelligenz“ bedeutet
Der RHAE-Wert ist ein Benchmarkmaß. ARC Prize verbindet Completion mit der Zahl der Environment-Aktionen relativ zu einer First-Time-Human-Baseline. Gezählt wird eine diskrete Interaktion, die den Zustand der Umgebung verändert. Interne Reasoning-Schritte, Tool-Aufrufe und Retries sind damit nicht automatisch als Environment-Aktionen erfasst.
100,00 bedeutet nach dieser Definition: Alle Games und Levels wurden abgeschlossen und mindestens auf menschlicher Aktions-Effizienz gelöst. Das ist anspruchsvoll. Es sagt aber nichts darüber, wie viele Tokens, GPU-Minuten oder API-Kosten dafür nötig waren, wie ein System mit widersprüchlichem Feedback umgeht oder ob ein Agent seine Rechte in einer offenen Umgebung sicher begrenzen lässt.
Auch der Vergleich mit dem nackteren Modellscore muss sauber bleiben. ARC Prize führt Claude Opus 5 High mit 30,16 Prozent auf dem Public Set. Die nominelle Differenz von 69,84 Prozentpunkten ist keine Messung des AVO-Beitrags: Modellvariante, Observation, Memory, Reasoning-Einstellung und Ausführungsumgebung unterscheiden sich. Aus der Zahl lässt sich nicht herausrechnen, welchen Anteil jeweils das Modell, das Textgrid oder der Supervisor hatte.
918 Aktionen weniger – aber keine kontrollierte Ablation
NVIDIA nennt für VISTA mit Claude Opus 5 auf denselben 183 öffentlichen Levels 7.542 Environment-Aktionen. AVO kommt im Bericht auf 6.624. Die Differenz beträgt 918 Aktionen. Rechnet man 918 durch 7.542, ergibt sich 12,1718 Prozent, gerundet 12,2 Prozent weniger Aktionen für AVO.
Diese Gegenrechnung ist nützlich, weil sie die Größenordnung des berichteten Unterschieds sichtbar macht. Sie beantwortet aber nicht die Frage, ob Memory, Supervisor oder ein einzelnes Prompting-Detail dafür verantwortlich ist. VISTA arbeitet mit einer anderen Observation und einem anderen Memory-Ansatz; auch weitere Harness- und Context-Management-Details weichen ab. Der Vergleich zeigt deshalb Systemdesigns unter ihren jeweiligen Bedingungen, keine kontrollierte Ablation.
Der Public Set ist eine starke Probe – und eine begrenzte
Die Aufgaben sind kein einfacher Bildertest. Wer die Regeln einer unbekannten Umgebung aus Interaktionen erschließen muss, braucht Exploration, Hypothesenbildung, Korrektur und eine Form von Transfer. Ein System, das alle öffentlichen Levels effizient löst, verdient deshalb eine ernsthafte Einordnung. Die Einschränkung liegt nicht im Anspruch des Benchmarks, sondern in der Reichweite eines öffentlichen Aufgabensatzes.
Replay-Analysen von ARC Prize zeigen, warum ein Sieg allein wenig über das interne Weltmodell verrät. Ein Modell kann eine lokale Wirkung sehen, daraus eine falsche Regel ableiten und trotzdem ein Level gewinnen. Es kann eine bekannte Abstraktion auf eine neue Aufgabe übertragen, ohne die Mechanik dieser Umgebung wirklich gelernt zu haben. Solche Befunde sind keine nachgewiesene Schwäche von AVO. Sie liefern aber die richtige Gegenprobe: Reproduziert das System seine Regeln auf privaten oder neu erzeugten Aufgaben, wenn keine Public-Set-Vertrautheit helfen kann?
Auch andere Berichte sprechen dafür, Harness und Modell nicht zu trennen. OpenAI beschreibt bei einem eigenen ARC-AGI-3-Versuch, dass retained reasoning und Compaction den Score ungefähr verdreifachten, nachdem ältere Historie und interne Reasoning-Nachrichten im vorherigen Setup verloren gingen. Das ist keine AVO-Ablation. Es zeigt aber, wie stark Kontextverwaltung die beobachtete Leistung verändern kann.
Was vor dem produktiven Einsatz noch fehlen würde
Für einen Unternehmens- oder Behördenprozess müsste ein Agent mehr nachweisen als Completion und Aktions-Effizienz. Teams müssten Kosten, Laufzeit und Fehlerrücksetzungen gemeinsam messen. Ebenso wichtig wären reproduzierbare Logs, eine Sandbox, begrenzte Tool-Rechte und klare Stop-Regeln. Bei falschen Hypothesen oder widersprüchlichem Feedback müsste das System kontrolliert zurücksetzen können, statt eine Fehlstrategie über viele Schritte zu stabilisieren.
Für Deutschland und die EU ist der NVIDIA-Befund deshalb vor allem eine Beschaffungs- und Betriebsfrage. Er liefert keine EU-Konformitätsaussage und keine Einsatzfreigabe. Er macht vielmehr anschaulich, welche Systemteile in einem Pilotprojekt separat geprüft werden sollten: Zustandsspeicher, Feedback, Rechteverwaltung, Kostenlimits, Auditierbarkeit und die menschliche Freigabe an den Stellen, an denen eine Aktion nicht mehr folgenlos ist.
Die belastbare Aussage hinter der großen Zahl
NVIDIAs AVO zeigt auf dem öffentlichen ARC-AGI-3-Set, dass ein vollständig gebautes Agentensystem mit Claude Opus 5 25 Umgebungen und 183 Levels in 6.624 Environment-Aktionen lösen kann. RHAE 100,00 ist dabei ein starkes Ergebnis für die gemessenen Public-Set-Bedingungen. Es ist weder ein AGI-Nachweis noch ein unabhängiger Beleg für robuste Autonomie im offenen Betrieb.
Der nächste sinnvolle Test wäre kein weiterer Werkscore, sondern ein kontrollierter Vergleich auf ungesehenen Aufgaben: identische Modelle, klar dokumentierte Observation, gleiche Memory- und Context-Bedingungen, dazu Kosten, Latenz, Fehlerpfade und Rechte. Erst dann ließe sich beurteilen, wie viel der Leistung aus dem Modell kommt und wie viel aus der Architektur darum herum.
Quellen und weiterführende Informationen
- NVIDIA Technical Blog: NVIDIA AVO Reaches 100% on ARC-AGI-3 (Stand: 2026-08-21)
- arXiv: AVO – Agentic Variation Operators for Autonomous Evolutionary Search (Stand: 2026-03-25)
- ARC Prize Foundation: Announcing ARC-AGI-3 (Stand: 2026-03-25)
- ARC Prize Foundation: ARC-AGI-3 Scoring Methodology
- ARC Prize Foundation: Claude Opus 5 – ARC-AGI Results (Stand: 2026-07-24)
- ARC Prize Foundation: Analyzing GPT-5.5 & Opus 4.7 with ARC-AGI-3 (Stand: 2026-05-01)
- OpenAI: How enabling two settings tripled our ARC-AGI-3 benchmark scores (Stand: 2026-07-29)
- VISTA: A Visual Harness for Reasoning in an Interactive World
Hinweis: Für diesen Artikel wurden KI-gestützte Recherche- und Editierwerkzeuge verwendet. Der Inhalt wurde redaktionell geprüft. Stand: 2026-08-22
