Ein Auto soll in einer Simulation auf einen Spurwechsel reagieren. Dafür braucht das getestete Fahrsystem mehr als ein hübsches Video: Seine virtuellen Kameras und Entfernungssensoren müssen dieselbe Situation zur selben Zeit zeigen. Nvidia beschreibt nun vier angepasste Modelle seiner Cosmos-3-Familie, mit denen Entwickler solche Szenen und andere virtuelle Umgebungen erzeugen können.
Für Fahrtests sind besonders zwei Varianten interessant: Eine erstellt Datensätze vorab, die andere erzeugt Beobachtungen abschnittsweise anhand neuer Szenenvorgaben. Die Vorstellung vom 5. November erläutert die Ansätze. Die Modellkarte nennt für Sim-Auto bereits den 20. Oktober als Veröffentlichungsdatum; der Blog ist deshalb nicht gleichbedeutend mit einer erstmaligen Veröffentlichung aller Modelle.
Eine Straße, mehrere Sensoren
Ein Fahrsystem kann seine Umgebung mit Kameras und Lidar erfassen. Kameras liefern Bilder; Lidar tastet die Umgebung mit Lichtimpulsen ab und liefert daraus räumliche Entfernungsinformationen. Eine Punktwolke stellt diese Messungen als viele Punkte im Raum dar. Wenn ein Fahrzeug auf dem Kamerabild links vor dem Testauto fährt, sollte auch die simulierte Punktwolke zum selben Fahrzeug und Zeitpunkt passen.
Das Modell Transfer-Auto erzeugt laut Nvidia synchronisierte Ansichten für bis zu elf Kameras und unterstützt gemeinsame Kamera- und Lidardaten. Entwickler geben unter anderem die Struktur der Szene und die Bewegung des Verkehrs vor. Texte können Aussehen, Licht und Wetter beeinflussen. Das Modell erstellt daraus synthetische Daten, die für die spätere Arbeit bereitstehen.
Wie der Regelkreis entsteht
Bei Sim-Auto geht es um einen fortlaufenden Ablauf. Ein separates Simulationssystem übersetzt eine Fahrentscheidung, etwa eine geplante Bewegung, in neue Szenenvorgaben. Das Modell erzeugt dazu den nächsten Abschnitt der Kamera- und Lidarbeobachtungen. Das getestete Fahrsystem kann darauf reagieren; seine nächste Entscheidung verändert wiederum die Vorgaben.
Der Zwischenschritt ist entscheidend: Das Modell allein ist nicht das gesamte Fahrsystem. Laut Nvidias Modellkarte werden ein Szenenrenderer und passende Eingabedaten benötigt. Für Lidarausgaben gehören dazu auf die Kameraansichten abgestimmte räumliche Vorgaben. Wer eine andere Sensorkonfiguration nutzen möchte, muss das Modell zunächst an eigene Daten anpassen.
Anschaulich wird der Nutzen an einem gedachten Beispiel: Ein Team variiert die Beleuchtung einer Straße und prüft, wie seine Software mit der veränderten Ansicht umgeht. Die erzeugten Szenen können dabei helfen, unterschiedliche Bedingungen systematisch durchzuspielen. Ob sie die Besonderheiten einer konkreten Straße und Sensoranlage ausreichend abbilden, muss das Team selbst prüfen.
Vier Modelle für unterschiedliche Aufgaben
Neben den beiden Fahrvarianten nennt Nvidia Sim-Transfer und Sim-Bimanual. Erstere wandelt Vorgaben eines Physiksimulators in visuelle Beobachtungen um. Letztere soll aus Roboter- oder Kameraaktionen Videos vorhersagen. Alle vier beruhen auf Cosmos 3 Nano und haben laut Anbieter jeweils 16 Milliarden trainierbare Parameter. Die Modellgewichte stehen unter der OpenMDW-1.1-Lizenz; für die Nutzung gelten deren Bedingungen.
Die Unterscheidung zum älteren Cosmos-3-Edge-Ansatz ist wichtig: Dort ging es um visuelle Auswertung und Aktionsvorschläge nahe an der Maschine. Die hier beschriebenen Fahrmodelle erzeugen dagegen virtuelle Beobachtungen für Entwicklung und Tests.
Was die Simulation nicht verrät
Eine überzeugende Szene ist noch kein Sicherheitsnachweis für eine echte Fahrt. Synthetische Daten hängen davon ab, welche Situationen die Vorgaben und das Modell darstellen können. Auch müssen Kamerabild, räumliche Daten und die Reaktion des getesteten Systems für den jeweiligen Einsatzzweck geprüft werden.
Bei der Geschwindigkeit lohnt sich ein genauer Blick: Die Modellkarte unterscheidet die Bildrate, mit der ein erzeugtes Video abgespielt wird, von der Geschwindigkeit seiner Berechnung. Letztere hängt von Hardware und Einstellungen ab. Aus einer angegebenen Wiedergaberate lässt sich daher nicht ableiten, dass jede Konfiguration die Szene in Echtzeit erzeugt.
Quellen
- Nvidia: New NVIDIA Cosmos 3 Open Models for Interactive World Simulation, 5. November 2026.
- Nvidia: Modellkarte Cosmos3-Nano-Sim-Auto, abgerufen am 7. November 2026.
Für diesen Artikel wurden KI-gestützte Recherche- und Editierwerkzeuge verwendet. Der Inhalt wurde redaktionell geprüft.
