Ein Roboterarm schiebt einen Holzklotz über den Tisch, dreht ihn und stapelt ihn auf einen zweiten. In der neuen Forschungsumgebung ToyBlocks geschieht das zunächst am Computer. Das Allen Institute for AI (Ai2) will damit untersuchen, wie Roboter aus Übungen lernen und wie zuverlässig sie Bekanntes auf neue Aufgaben übertragen.
Die am 6. November vorgestellte Umgebung erzeugt dafür Aufgaben und Bewegungsbeispiele automatisch. Forschende können anschließend gezielt verändern, welche Beispiele ein Modell erhält, und prüfen, wo es scheitert. Erste Versuche mit einem echten Roboterarm zeigen sowohl eine mögliche Übertragung als auch deutliche Grenzen.
Ein kleiner Tisch als Versuchswelt
Roboter können in Videos beeindruckende Einzelaufgaben erledigen. Schwieriger ist zu erkennen, was ein Modell tatsächlich gelernt hat: Beherrscht es eine Bewegung allgemein oder nur die genaue Anordnung aus seinen Übungsdaten? ToyBlocks begrenzt die Umgebung bewusst auf einen Arm und Klötze auf einem Tisch. Dadurch lassen sich einzelne Bedingungen verändern und Versuche vergleichen.
Auf den Würfeln stehen Buchstaben oder Bilder. Ein Roboter kann sie suchen, drehen und zu einem Wort stapeln. Ist ein Buchstabe verdeckt, muss er zunächst die passende Seite sichtbar machen. Für solche Aufgaben genügt es nicht, einen Gegenstand zu greifen: Das System muss entscheiden, welcher Schritt als Nächstes hilft, und ihn dann ausführen.
Die Ai2-Forschenden trennen diese Ebenen: Ein Planungsmodell wählt etwa einen Klotz und eine Handlung aus; ein Bewegungsmodell steuert den Arm. So lässt sich untersuchen, ob ein Fehler bei der Auswahl oder bei der Bewegung entstanden ist.
Üben, ohne jede Bewegung vorzuführen
In der Simulation werden kurze Fertigkeiten wie Schieben oder Drehen erlernt und durch Bewegungsplanung zu längeren Aufgaben verbunden. Dabei entstehen aufgezeichnete Beispiele, mit denen andere Modelle trainiert werden können. Ein Mensch muss nicht jede einzelne Bewegung mit einem ferngesteuerten Roboter vorführen.
Die virtuelle Welt liefert beim Erzeugen der Beispiele Informationen, die ein echter Roboter nicht unmittelbar kennt, etwa die genaue Position eines Klotzes. Das später trainierte Modell muss dagegen Beobachtungen von Sensoren in Handlungen umsetzen. Die Forschenden können Größe, Reibung, Tischhöhe oder Beleuchtung variieren und testen, ob ein Modell auch mit Veränderungen zurechtkommt.
Ai2 veröffentlicht den Programmcode und weitere Werkzeuge offen. Zum ersten Datensatz gehören nach Angaben des Instituts 85.336 längere Demonstrationen. Sie enthalten jeweils mehrere einzelne Fertigkeiten. Andere Teams können daraus eigene Trainingsmischungen zusammenstellen und bestimmte Aufgaben für den späteren Test zurückhalten.
Was der echte Roboter schaffte
Entscheidend ist, ob eine Übung im Computer außerhalb davon hilft. Ai2 testete deshalb Modelle, die ausschließlich mit simulierten Daten trainiert worden waren, an einem physischen Roboterarm. Die Aufgabe bestand darin, bekannte Klötze in vorgegebene Positionen zu bringen und damit Wörter aus drei Buchstaben zu bilden.
Das kombinierte Planungs- und Bewegungsmodell löste laut Ai2 15 von 30 realen Aufgaben. In der Simulation waren es 111 von 200. Die realen Versuche nutzten die einfachste der untersuchten Szenen: Die Buchstaben waren sichtbar und aufrecht. Ein Eingriff zur Vermeidung einer unsicheren Bewegung zählte als Fehlschlag. Die kleine Testreihe erlaubt daher keine allgemeine Aussage über die Zuverlässigkeit in anderen Umgebungen.
Damit virtuelle und reale Bewegungen vergleichbarer werden, passte das Team die simulierten Eigenschaften des Arms an echte Bewegungen an und variierte unter anderem Reibung und Beleuchtung. Trotzdem bleibt der Aufbau eng begrenzt: Bekannte Klötze auf einem Tisch sind etwas anderes als unbekannte Gegenstände in einer unaufgeräumten Wohnung.
Der Nutzen von ToyBlocks liegt zunächst in der Frage, die sich mit ihm präziser stellen lässt: Welche Übung hilft einem Modell bei welcher neuen Aufgabe? Die veröffentlichten Werkzeuge geben anderen Forschungsteams die Möglichkeit, diese Frage unter kontrollierten Bedingungen weiter zu untersuchen.
Quellen
- Ai2: ToyBlocks: A controlled world for robot learning and evaluation, 6. November 2026.
- Ai2: ToyBlocks, Quellcode und Dokumentation.
Für diesen Artikel wurden KI-gestützte Recherche- und Editierwerkzeuge verwendet. Der Inhalt wurde redaktionell geprüft.
