Ein Rechner liefert schon die nächste Verbesserung für ein KI-Modell, ein anderer arbeitet noch am vorigen Auftrag. Auf beide zu warten hält die Zusammenarbeit ordentlich, aber den schnellen Rechner auf. Einfach weiterzumachen schafft ein anderes Problem: Wenn das späte Ergebnis ankommt, hat sich das Modell längst verändert. Die Rückmeldung beschreibt einen Zustand, den es so nicht mehr gibt.
Ein mathematischer Preprint von Wei Jiang, Dingzhi Yu und Zechao Li, eingereicht am 20. Oktober 2026, untersucht einen Ausweg. Ein zentrales Verfahren darf weiterarbeiten, während frühere Rückmeldungen fehlen. Kommen sie später an, erhalten sie das Gewicht ihres Entstehungszeitpunkts. Das macht aus einer alten Nachricht keine neue. Es sorgt dafür, dass ihre Verspätung in der Rechnung sichtbar bleibt.
Wenn die Wegbeschreibung hinterherläuft
Beim Training verändert ein Modell seine Parameter, damit seine Fehler kleiner werden. Welche Änderung günstig erscheint, beschreibt ein Gradient: eine mathematische Richtungsangabe für die lokale Fehlerlandschaft. Weil die Auswertung aller Trainingsdaten teuer sein kann, wird diese Richtung häufig anhand zufällig ausgewählter Beispiele geschätzt.
Man kann sich das wie eine Wanderung im Nebel vorstellen. Eine kleine Stichprobe zeigt, in welcher Richtung es bergab geht. Die nächste Stichprobe kann etwas anderes nahelegen, obwohl der Weg kaum verändert wurde. Dieses Schwanken nennen Mathematiker Varianz. Ein Lernverfahren muss also mit zwei Unsicherheiten umgehen: Die Landschaft wird nur ausschnittweise betrachtet, und die Wegbeschreibung kann verspätet eintreffen.
Für ein vereinfachtes Gedankenexperiment rechnen zwei Hilfsrechner an unterschiedlichen Aufträgen. Während der langsamere noch die Änderung zwischen zwei früheren Modellständen untersucht, hat der zentrale Rechner bereits weitere Schritte gemacht. Seine Rückmeldung gehört weiterhin zu diesen früheren Ständen. Wer sie wie eine frisch berechnete Richtung behandelt, vermischt Entstehungszeit und Ankunftszeit.
Zweimal dieselbe Stichprobe
Der Ansatz baut auf rekursiver Varianzreduktion auf. Das klingt nach einer großen Maschine, beginnt aber mit einem einfachen Vergleich: Dieselbe zufällige Stichprobe wird an zwei aufeinanderfolgenden Modellständen ausgewertet. Dadurch lässt sich besser erkennen, welcher Unterschied aus der Modelländerung stammt. Würde man gleichzeitig Modell und Stichprobe wechseln, kämen beide Einflüsse zusammen.
Die Autoren verbinden diese Differenz mit einem Momentum-Verfahren. Dabei trägt die bisherige Richtung einen Teil der nächsten Schätzung; ihre Wirkung klingt schrittweise ab. Zur methodischen Vorgeschichte gehört STORM von Ashok Cutkosky und Francesco Orabona, das Momentum zur Verringerung der Streuung nutzt. Die neue Arbeit untersucht, wie solche Korrekturen funktionieren, wenn Rückmeldungen unterwegs sind und in anderer Reihenfolge eintreffen.
Nach einem Schritt beauftragt der zentrale Rechner die Auswertung eines festgelegten Paares von Modellständen. Erst danach wird die frische Stichprobe gezogen. Beide Auswertungen benutzen dieselbe Stichprobe und werden gemeinsam zurückgemeldet. So bleibt klar, welchen Übergang der Auftrag beschreibt. Es handelt sich um eine Korrektur der fortgeschriebenen Richtungsschätzung, nicht bloß um einen beliebigen alten Gradienten, der nachträglich auf das Modell geworfen wird.
Eine spät eingetroffene Korrektur bekommt den inzwischen abgeschwächten Einfluss, den sie auch bei pünktlicher Lieferung gehabt hätte. Ihr Alter zählt ab der Erzeugung. In einer Runde ohne neue Antwort schwächt das Verfahren seine bisherige Schätzung ab, verändert die Parameter trotzdem und erteilt den nächsten Auftrag. Treffen mehrere Antworten ein, kann es sie gemeinsam berücksichtigen.
Weniger Warten hat einen Preis
Das Weiterrechnen gelingt in den Beweisen unter konkreten Voraussetzungen. Die Zielfunktion muss nach unten begrenzt sein. Die Stichproben liefern im Mittel die richtige Gradientenrichtung, ihre Streuung ist beschränkt, und nahe Modellstände dürfen im Mittel keine beliebig unterschiedlichen Gradienten erzeugen. Diese letzte Eigenschaft wird als mittlere Glattheit beschrieben.
Verzögerungen gehen außerdem in die Wahl der Schrittweite ein. In der grundlegenden Analyse ist die Verspätung durch eine maximale Zahl zentraler Aktualisierungen begrenzt. Bei größerer erlaubter Verzögerung wird vorsichtiger weitergegangen. Der Gewinn an Bewegungsfreiheit kostet damit zusätzliche Rechenarbeit bis zum mathematischen Ziel.
Dieses Ziel ist ein Modellstand mit einer im Erwartungswert kleinen quadrierten Gradientennorm. Anschaulich: Die Landschaft bietet dort lokal nur noch eine schwache Richtung für weitere Verbesserung erster Ordnung. Das ist eine Aussage über den Optimierungsverlauf unter den Modellannahmen. Welche Antworten ein trainiertes Sprachmodell später gibt, wird in der Arbeit nicht experimentell untersucht.
Eine feinere Betrachtung der Autoren schaut auf die noch ausstehenden Rückmeldungen. Eine einzelne sehr alte Korrektur und viele gleichzeitig fehlende Korrekturen belasten die Richtungsschätzung unterschiedlich. Beim stochastischen Verfahren kann deshalb die gesamte verbleibende Gewichtung der fehlenden Antworten eine passendere Schranke liefern als das Alter des langsamsten Auftrags.
Weil alte Beiträge zunehmend verblassen, können in dieser Erweiterung sogar Antworten dauerhaft ausbleiben. Dafür muss ihre gewichtete Gesamtmenge während des Laufs begrenzt bleiben. Wiederholte Verluste brauchen ausreichend Abstand im Verhältnis zur gewählten Abschwächung. Das ist eine organisierte Fehlertoleranz mit Bedingungen, kein Freibrief, Rückmeldungen beliebig zu verwerfen.
Auch die große Bestandsaufnahme braucht Zeit
Für eine endliche Summe von Einzelaufgaben betrachtet die Arbeit außerdem Verfahren mit regelmäßiger vollständiger Gradientenberechnung. Diese Bestandsaufnahme liefert einen genauen Bezugspunkt. Die Grundvariante wartet darauf; eine Erweiterung berechnet solche Bezugspunkte im Hintergrund, während die laufenden Korrekturen weiter eintreffen.
Der Bezugspunkt bleibt dabei ein festgehaltener früherer Modellstand. Sobald seine vollständige Auswertung verwendet wird, werden die inzwischen zurückgekehrten Korrekturen seit diesem Stand weiter berücksichtigt. Damit das funktioniert, muss die vollständige Berechnung innerhalb einer eigenen vorgegebenen Frist fertig sein. Eine Obergrenze für die kleinen Korrekturaufträge garantiert diese Frist noch nicht. Auch der Start braucht weiterhin eine vollständig abgeschlossene Initialisierung.
Auf der Uhr kann die Reihenfolge anders aussehen
Der praktische Gegenpol zur Wartefreiheit ist die Frage, wie viele ungenauere Schritte ein System dafür zusätzlich macht. Sanghamitra Dutta und Mitautoren untersuchten diesen Zielkonflikt bereits 2018: Synchrone Verfahren warten auf langsame Rechner; asynchrone Verfahren vermeiden einen Teil dieser Wartezeit, arbeiten dafür mit veralteten Gradienten. Ihre Analyse verbindet den Fehler mit der tatsächlichen Trainingslaufzeit und berücksichtigt zufällige Verzögerungen. Sie behandelt andere SGD-Varianten, nicht das neue Verfahren.
Die Unterscheidung ist entscheidend. Jiang und Kollegen zählen angeforderte Gradientenauswertungen, einschließlich noch nicht fertiggestellter Aufgaben. Warten selbst verbraucht in dieser Zählung keine Auswertung. Auf einem realen Rechner verbraucht es sehr wohl Zeit. Umgekehrt können viele rasch aufeinanderfolgende Aktualisierungen viel Arbeit erzeugen, ohne entsprechend viel Lernfortschritt zu liefern.
Ob die neue Organisation schneller zum gewünschten Ergebnis führt, hängt daher auch davon ab, wie schnell Aufträge ausgeführt und übertragen werden und wie zuverlässig vollständige Bezugspunkte fertig werden. Der Preprint liefert dafür mathematische Bedingungen und Aufwandsschranken. Ein gemessener Zeitgewinn für ein bestimmtes Rechenzentrum gehört zu einer anschließenden Implementierung und ihrem Vergleich. Die interessante Verschiebung beginnt früher: Ein Lernverfahren muss seine Zusammenarbeit nicht vollständig an der langsamsten Nachricht ausrichten, wenn es das Alter und die fehlende Masse seiner Informationen sorgfältig mitführt.
Quellen
- Wei Jiang, Dingzhi Yu und Zechao Li: Variance Reduction with Delayed Feedback for Non-Convex Optimization, Preprint v1, 20. Oktober 2026, insbesondere Abschnitte 2, 3, 5 und 6.
- Ashok Cutkosky und Francesco Orabona: Momentum-Based Variance Reduction in Non-Convex SGD, 2019; arXiv-Fassung v3 vom 21. April 2020, Abstract.
- Sanghamitra Dutta, Gauri Joshi, Soumyadip Ghosh, Parijat Dube und Priya Nagpurkar: Slow and Stale Gradients Can Win the Race: Error-Runtime Trade-offs in Distributed SGD, AISTATS/PMLR 84, 2018, S. 803–812, Abstract.
Für diesen Artikel wurden KI-gestützte Recherche- und Editierwerkzeuge verwendet. Der Inhalt wurde redaktionell geprüft.
