Technik

Warum eine KI-Prognose mehr als eine Zahl braucht

Ein einzelner Sensorwert zeigt nicht, wie unsicher eine Vorhersage ist. Quantile helfen, eine Bandbreite und ihre Bedeutung für Entscheidungen zu verstehen.

Von Wolfgang

30. Okt. 20265 Min. Lesezeit

Industriepumpe und schematische Prognoseverläufe mit Artikelüberschrift

Eine Pumpe läuft heiß. Morgen, sagt die Prognose, wird ihr Sensor 80 Grad anzeigen. Reicht das, um eine Wartung zu planen? Die Zahl allein verrät nicht, ob die Temperatur mit großer Sicherheit nahe 80 Grad bleibt oder ob auch deutlich höhere Werte plausibel sind. Für die Entscheidung kann dieser Unterschied wichtiger sein als die einzelne Zahl.

Probabilistische Prognosen beschreiben deshalb mehrere mögliche Werte samt ihrer geschätzten Wahrscheinlichkeit. Sogenannte Quantile markieren Grenzen innerhalb dieser Verteilung. Sie machen sichtbar, wie breit die Vorhersage ist und wie viel Gewicht ein Modell hohen oder niedrigen Werten gibt. Verlässlich wird die Angabe allerdings erst, wenn sie sich an späteren Messungen bewährt.

Das Prinzip ist nicht auf künstliche Intelligenz beschränkt. Es steckt auch hinter Wetter- und Nachfrageprognosen. Einen aktuellen Anlass liefert Mistrals Zeitreihenmodell Timestral: Der Anbieter beschreibt, wie es mehrere Sensorreihen gemeinsam auswerten und Quantile für künftige Werte ausgeben soll. Eine Pumpe dient dem Unternehmen dabei als Beispiel, nicht als veröffentlichter Nachweis einer erfolgreichen Wartung.

Was eine einzelne Zahl verbirgt

Ein Sensor liefert eine Zeitreihe: Messwerte, die nacheinander entstehen. Bei einer Pumpe können Temperatur, Druck und Vibration gleichzeitig erfasst werden. Ein Prognosemodell versucht aus solchen bisherigen Verläufen abzuleiten, welche Werte später auftreten könnten. Es kann auch weitere verfügbare Informationen berücksichtigen, etwa einen bekannten Betriebsplan.

Die eine ausgegebene Zahl kann je nach Verfahren etwas Unterschiedliches bedeuten: etwa den geschätzten Durchschnitt oder den Median. Der Median teilt die modellierte Verteilung in zwei Hälften. Er sagt nicht, dass sich die tatsächliche Temperatur genau dort einfinden wird.

Stellen wir uns zwei Prognosen mit demselben Median von 80 Grad vor. Bei der ersten liegen die meisten möglichen Werte nahe beieinander. Bei der zweiten reichen sie weit nach oben und unten. Ein Team, das nur die 80 sieht, kann die beiden Situationen nicht unterscheiden. Liegt ein relevanter Grenzwert in der oberen Spanne, beeinflusst diese Information die Planung.

Wie Quantile die Bandbreite beschreiben

Ein Quantil ist eine Schwelle in einer Verteilung. Das 10-Prozent-Quantil ist ein Wert, unter dem nach der Prognose zehn Prozent der möglichen Ergebnisse liegen. Beim 90-Prozent-Quantil sind es 90 Prozent. Zwischen beiden liegen damit bei einer stetigen Verteilung 80 Prozent der vom Modell beschriebenen Ergebnisse.

Für unser ausdrücklich erfundenes Beispiel nehmen wir an: Das 10-Prozent-Quantil liegt bei 70 Grad, der Median bei 80 und das 90-Prozent-Quantil bei 95 Grad. Nach dieser Modellverteilung liegen 80 Prozent der möglichen Werte zwischen 70 und 95 Grad; jeweils zehn Prozent liegen unter beziehungsweise über den Grenzen. Die Zahlen sind keine Timestral-Messung und kein empfohlener Betriebsbereich.

Schematisch zehn gleich große Anteile: ein Anteil unter 70 Grad, acht zwischen 70 und 95 Grad und einer darüber — Gedankenbeispiel: Zwischen dem 10- und dem 90-Prozent-Quantil liegen 80 Prozent der modellierten Ergebnisse. Die Darstellung zeigt Anteile, keine Temperaturskala. (Quelle: KI generiert)

Eine solche Spanne bedeutet nicht, dass die Temperatur nicht höher als 95 Grad werden kann. Sie bedeutet auch nicht, dass alle Werte innerhalb der Spanne gleich wahrscheinlich sind. Das Modell hat lediglich seine Unsicherheit in bestimmte Bereiche aufgeteilt. Andere Grenzen, etwa das 5- und das 95-Prozent-Quantil, würden eine breitere Spanne für 90 Prozent ergeben.

Die Dokumentation von scikit-learn beschreibt Quantilregression als eine Methode, solche bedingten Schwellen zu schätzen. Ein Vorteil: Die Schätzung muss nicht voraussetzen, dass Fehler immer gleich stark streuen oder einer symmetrischen Glockenkurve folgen. Dafür muss das verwendete Verfahren die Daten und Zusammenhänge sinnvoll erfassen.

Vom Messwert zur Entscheidung

Angenommen, ein Betrieb will bei einer vorhergesagten Temperatur über 90 Grad zusätzliche Kontrollen einplanen. Der Median von 80 Grad liegt darunter. Das 90-Prozent-Quantil von 95 Grad liegt darüber. Die Spanne zeigt also, dass das Modell auch hohe Werte für möglich hält. Aus diesen drei Quantilen allein lässt sich die genaue Wahrscheinlichkeit für mehr als 90 Grad aber nicht ablesen.

Ob daraus eine Kontrolle folgt, hängt von mehr als der Prognose ab. Eine unnötige Prüfung kostet Zeit; ein übersehener Schaden kann teurer sein. Außerdem muss geklärt sein, ob die Temperatur überhaupt ein geeigneter Hinweis auf den betreffenden Defekt ist. Eine gute Vorhersage des Sensors ist noch keine Diagnose des Bauteils.

Auch der Zeitpunkt zählt. Eine Voraussage für die nächste Stunde kann anders ausfallen als eine für nächste Woche. Mit längerem Vorlauf wird die Unsicherheit häufig größer, weil mehr Veränderungen eintreten können. Das Lehrbuch Forecasting: Principles and Practice zeigt diesen Zusammenhang für Prognoseintervalle; er gilt nicht ausnahmslos für jedes Modell.

Warum die Prüfung im Betrieb entscheidet

Quantile sind nur so nützlich wie ihre Zuverlässigkeit. Wer viele vergleichbare Vorhersagen mit den späteren Messungen abgleicht, kann prüfen, ob beispielsweise ungefähr zehn Prozent der Werte unter dem jeweils vorhergesagten 10-Prozent-Quantil liegen. Für die Spanne zwischen 10 und 90 Prozent sollten es entsprechend ungefähr acht von zehn sein. Einzelne Abweichungen sind dabei zu erwarten.

Fachleute nennen diese Übereinstimmung Kalibrierung. Die Statistikforscher Tilmann Gneiting und seine Mitautoren unterscheiden in ihrer Übersicht zur Bewertung von Quantilprognosen zwischen durchschnittlicher und bedingter Kalibrierung. Eine insgesamt passende Trefferquote kann verbergen, dass eine Vorhersage bei hoher Last gut und bei niedriger Last schlecht funktioniert. Deshalb ist der Vergleich in den für den Einsatz wichtigen Situationen hilfreich.

Ein sehr breites Intervall kann häufig treffen und trotzdem wenig bei einer Entscheidung helfen. Ein enges Intervall ist nur dann nützlich, wenn es nicht zu oft danebenliegt. Beide Eigenschaften müssen zusammen betrachtet werden. Hinzu kommt, dass neue Betriebszustände, veränderte Sensoren oder eine andere Maschine die bisherigen Zusammenhänge verschieben können. Eine früher zuverlässige Spanne muss unter solchen Bedingungen erneut geprüft werden.

Timestral macht diese Art von Ausgabe laut Mistral für Zeitreihen verfügbar. Ob sie in einer bestimmten Anlage tatsächlich eine bessere Entscheidung ermöglicht, lässt sich nur mit deren Daten, geeigneten Vergleichen und klaren Kosten für Fehlentscheidungen beurteilen. Die zusätzliche Bandbreite ersetzt das Urteil der Wartungsverantwortlichen nicht. Sie gibt ihnen eine bessere Frage an die Hand: Wie groß ist der Bereich, mit dem wir bei dieser Entscheidung rechnen müssen?