Software

Heavy-Ball-Optimierer: Wann ein Warm-up vor Momentum hilft

Schwingt ein Optimierer um sein Ziel, lohnt der Blick auf Schrittweite und gespeichertem Schwung. So lässt sich der Start kontrolliert untersuchen.

Von Wolfgang

08. Okt. 20266 Min. Lesezeit

Symbolische Optimierungslandschaft mit Warm-up und Momentum

Wenn ein Optimierer um sein Ziel schwingt, sollte man zunächst drei Dinge festhalten: die Schrittweite, den Momentum-Wert und den gespeicherten Bewegungszustand. Danach lohnt ein Vergleichslauf ohne Momentum vom selben Startpunkt. Erst wenn dieser Grundlauf verstanden ist, lässt sich sinnvoll entscheiden, ob ein vorsichtiger Start mit anschließendem Umschalten hilft.

Dieser Ratgeber erklärt das für die Heavy-Ball-Methode auf deterministischen, glatten Optimierungsproblemen. Sie ist ein guter Fall, um die Wirkung von Schwung zu verstehen. Ein allgemeines Rezept für das Training neuronaler Netze ist daraus nicht abzuleiten: Adam, Nesterov und stochastische Varianten haben andere Abläufe und zusätzliche Einflussgrößen.

Der nächste Schritt enthält Erinnerung

Ein einfacher Gradientenabstieg betrachtet am aktuellen Punkt, in welche Richtung die Zielfunktion stärker wird, und bewegt sich in die entgegengesetzte Richtung. Die Schrittweite bestimmt, wie groß diese Bewegung ausfällt. Heavy-Ball verwendet zusätzlich einen Anteil der vorherigen Bewegung. Dieser gespeicherte Anteil kann eine Folge von Schritten beschleunigen, trägt aber auch über den günstigen Punkt hinaus.

In einer üblichen Schreibweise lautet die Aktualisierung: neue Geschwindigkeit gleich Momentum mal bisherige Geschwindigkeit minus Schrittweite mal aktueller Gradient. Anschließend wird diese neue Geschwindigkeit zur Position addiert. Damit gehört zur Startbedingung mehr als die erste Position. Eine alte Geschwindigkeit aus einem vorangegangenen Lauf verändert die folgenden Schritte.

Wer zwei Versuche vergleichen will, setzt daher auch den Bewegungszustand bewusst zurück. Sonst kann eine scheinbare Änderung des Optimierers in Wirklichkeit vom mitgenommenen Schwung stammen. Die genaue Schreibweise des verwendeten Programms gehört ebenfalls zum Vergleich: Manche Bibliotheken definieren ihren Momentum-Puffer anders als die hier verwendete Geschwindigkeit.

Ein kleines Beispiel zeigt das Überschwingen

Wir verwenden als eigene Beispielrechnung die Funktion f(x) = x²/2. Ihr Minimum liegt bei null, ihr Gradient ist x. Die Schrittweite beträgt 0,2, Momentum 0,8. Gestartet wird bei x = 2 mit Geschwindigkeit null. Die nächsten Positionen sind 1,6; 0,96; 0,256; −0,3584; −0,77824 und −0,958464.

Nach drei Schritten liegt der Wert nahe am Minimum. Trotzdem trägt die gespeicherte Bewegung ihn anschließend darüber hinaus. Dieses Überschwingen ist in unserem Beispiel Teil einer abklingenden Bewegung. Ein einzelner kleiner Funktionswert mitten in der Schwingung wäre deshalb ein schlechter Zeitpunkt, um den Lauf schon als abgeschlossen zu betrachten.

Ohne Momentum lautet die Aktualisierung hier einfach x neu = 0,8 mal x alt. Der Wert nähert sich von derselben Seite aus der null. Dieser Grundlauf liefert eine saubere Vergleichsbasis. Er ist zunächst weniger schwungvoll, aber sein Verhalten lässt sich bei dieser Funktion leicht nachvollziehen.

x = 2.0
v = 0.0
alpha = 0.2
beta = 0.8

for step in range(6):
    gradient = x
    v = beta * v - alpha * gradient
    x = x + v
    print(step + 1, x, x * x / 2)

Der Code benötigt nur Python. Mit beta = 0 wird daraus unser Vergleichslauf ohne Momentum. Für diese Rechnung zählen beide Varianten einen Gradienten pro Schritt. Position und Funktionswert gemeinsam anzusehen hilft, eine Bewegung über das Minimum von einer stetigen Annäherung zu unterscheiden.

Schematischer Vergleich eines schrittweisen Starts und einer schwingenden Bewegung mit Momentum zum Minimum — Momentum nimmt Bewegung aus früheren Schritten mit. Die Darstellung erklärt das Prinzip und zeigt keine berechnete Kurve. (Quelle: KI generiert)

So untersuchst du einen unruhigen Lauf

Das Problem und den Zustand festhalten. Notiere Zielfunktion, Startposition, Schrittweite, Momentum und Initialisierung der Geschwindigkeit. Für einen reproduzierbaren Versuch sollten dieselben Daten und dieselbe Gradientenberechnung verwendet werden.
Einen Grundlauf erstellen. Setze Momentum auf null und starte mit zurückgesetztem Zustand. Beobachte Funktionswert und Gradient über mehrere Schritte. Wenn bereits dieser Lauf wegläuft, ist zusätzliche Erinnerung nicht die erste Änderung, die erklärt werden muss.
Jeweils eine Größe verändern. Untersuche zunächst kleinere Schrittweiten bei gleichem Momentum oder weniger Momentum bei gleicher Schrittweite. Werden beide gleichzeitig geändert, bleibt unklar, welche Änderung das Verhalten verursacht.
Die ganze Folge vergleichen. Betrachte nicht nur den niedrigsten Zwischenwert. Relevant ist, ob die Bewegung weiter abnimmt und das gewünschte Kriterium dauerhaft erreicht. Gleiche dafür auch das Budget an Gradientenberechnungen an.

Diese Schritte sind eine Diagnose, keine allgemeine Konvergenzgarantie. Sie machen eine Änderung nachvollziehbar und verhindern, dass zufällig günstige Zwischenpunkte den Vergleich bestimmen. Bei anderen Funktionen kann das gleiche Parameterpaar ganz anders arbeiten.

Warum ein Warm-up einen anderen Start schaffen kann

Ein Warm-up beginnt hier mit Gradientenabstieg und schaltet erst später zu Heavy-Ball um. Die erste Phase soll die Position in einen günstigeren Bereich bringen. Die zweite nutzt Momentum für die weitere Annäherung. Damit werden zwei Aufgaben getrennt: erst einen brauchbaren Start erreichen, anschließend lokale Beschleunigung nutzen.

Eine am 7. Oktober veröffentlichte Arbeit von Kang Liu und Kollegen untersucht diese Frage mathematisch für stark konvexe Funktionen mit bestimmten Regularitätsbedingungen. Die garantierte Startumgebung wird kleiner, wenn Momentum gegen eins geht. Die Autoren leiten einen gradientenbasierten Start mit einer endlichen Gradientenabstiegsphase her. Danach erhalten sie unter den betrachteten Voraussetzungen eine beschleunigte lokale asymptotische Rate.

Das erklärt einen wichtigen Unterschied zwischen Theorie und Alltagstest. Eine geprüfte Umschaltregel verwendet die in ihrem Beweis erforderlichen Schranken für Krümmung und Regularität. Wer diese Größen bei seinem Problem nicht kennt, kann einen Warm-up praktisch untersuchen, arbeitet damit aber mit einer Heuristik. Ein bloß klein aussehender Gradient ersetzt die Voraussetzungen des Satzes nicht.

Das Umschalten gehört in den Versuchsplan

Für einen eigenen Vergleich definiert man vorher, wann umgeschaltet wird und welchen Zustand die Momentum-Phase erhält. Ein bewusst auf null gesetzter Geschwindigkeitspuffer schafft einen gut beschreibbaren neuen Start. Das ist eine Entscheidung im Versuchsplan; sie sollte nicht unbemerkt mit anderen Parametern verändert werden.

Verglichen werden drei vollständige Läufe: Gradientenabstieg, Heavy-Ball ab dem ursprünglichen Start und Warm-up mit anschließender Heavy-Ball-Phase. Die ersten Schritte des Warm-ups gehören zum Rechenbudget. Wer sie beim Aufwand weglässt, macht die Mischvariante künstlich günstiger. Auch die benötigte Endgenauigkeit muss dieselbe sein.

Ein nützliches Abbruchkriterium passt zur Aufgabe. Bei unserem einfachen Beispiel kann die Nähe zu null direkt betrachtet werden. Bei einem unbekannten Minimum sind etwa Gradienten und Änderungen der Zielfunktion relevant, jeweils unter den Eigenschaften des Problems. Ein Kriterium sollte über eine sinnvolle Folge von Schritten beurteilt werden, damit ein flüchtiger günstiger Punkt nicht als dauerhafte Ruhe erscheint.

Auch eine schöne Kurve braucht den richtigen Geltungsbereich

Die ältere Analyse von Laurent Lessard, Benjamin Recht und Andrew Packard zeigt bereits einen Heavy-Ball-Grenzzyklus auf einer stark konvexen Funktion. Das bedeutet: Eine günstige Erfahrung mit einer quadratischen Schüssel erlaubt noch keine Aussage über alle nichtlinearen Probleme derselben groben Klasse. Der Verlauf und seine Voraussetzungen gehören zusammen.

Für die praktische Entscheidung ergibt sich ein überschaubares Vorgehen. Zuerst den Grundlauf und den Zustand verstehen, dann Parameter kontrolliert verändern und schließlich einen Warm-up mit gleichem Gesamtbudget vergleichen. Hilft er, lässt sich konkret benennen, bei welchem Problem und welchem Start er geholfen hat. Das ist die brauchbare Antwort auf schwingende Optimierung: ein nachvollziehbarer Versuch, dessen Ergebnis zur tatsächlich verwendeten Methode passt.