OpenAI stellt seine Plattform für KI-Tests um: Bestehende Evaluationen sollten nach dem Zeitplan des Unternehmens am 31. Oktober 2026 schreibgeschützt werden. Am 30. November sollen Dashboard und Programmierschnittstelle abgeschaltet werden. Betroffen ist auch der datensatzgestützte Prompt Optimizer. Wer solche Tests nutzt, muss sich auf einen anderen Ablauf einstellen.
Die Fristen stehen auf der Deprecations-Seite von OpenAI. Dort nennt das Unternehmen auch eine Alternative: Promptfoo. Der zugehörige Leitfaden beschreibt, wie Teams ihre Tests von Hand nachbauen. Eine automatische Übernahme verspricht er nicht.
Was eine Evaluation überhaupt prüft
Eine KI-Anwendung lässt sich nicht allein daran beurteilen, ob eine einzelne Antwort gut klingt. Entwickler können ihr stattdessen eine Reihe von Aufgaben geben und vorher festlegen, welche Eigenschaften die Antworten haben sollen. Solche wiederholbaren Tests heißen Evaluationen oder kurz Evals.
Ein einfaches Beispiel: Ein Assistent soll Fragen zu einer Bedienungsanleitung beantworten. Ein Testfall enthält eine Frage und eine Erwartung an die Antwort. Ein Bewertungskriterium prüft anschließend, ob die Ausgabe zur Aufgabe passt. Ändert ein Team die Anweisung an das Modell, kann es dieselben Fälle erneut durchlaufen lassen und die Ergebnisse vergleichen.
OpenAI Evals bündelte solche Tests, Durchläufe und Ergebnisse auf seiner Plattform. Laut OpenAI werden bestehende Evaluationen zunächst schreibgeschützt. Die angekündigte Abschaltung betrifft anschließend sowohl die Oberfläche als auch die API, also die Schnittstelle für Programme. Der Termin ist ein Zeitplan des Anbieters; er belegt für sich genommen noch nicht, dass die Abschaltung bereits erfolgt ist.
Auch ein Werkzeug zur Prompt-Verbesserung ist betroffen
Ein Prompt ist die Anweisung, mit der eine Anwendung einem Modell eine Aufgabe und Regeln vorgibt. Der Prompt Optimizer kann diese Anweisung überarbeiten. Die betroffene Variante nutzt dafür einen Datensatz mit Beispielen, Bewertungen und gegebenenfalls schriftlicher Kritik.
Das Prinzip: Das Werkzeug erhält nicht nur den ursprünglichen Prompt, sondern auch Hinweise darauf, welche Antworten bei Testfällen gut oder schlecht waren. Daraus schlägt es eine veränderte Anweisung vor. Ob diese in der eigenen Anwendung wirklich besser funktioniert, müssen Teams weiterhin prüfen. OpenAI weist selbst darauf hin, dass ein optimierter Prompt bei bestimmten Eingaben schlechter abschneiden kann.
Die Ankündigung bezieht sich ausdrücklich auf den datensatzgestützten Prompt Optimizer als Teil der Evals-Plattform. Daraus lässt sich nicht ableiten, dass jede Form der Prompt-Bearbeitung oder jede OpenAI-API endet.
Wie der Wechsel aussehen kann
OpenAI empfiehlt Promptfoo als Migrationspfad. Das quelloffene Werkzeug arbeitet mit einer Konfigurationsdatei und einer Kommandozeile. Tests können damit lokal oder in automatisierten Entwicklungsabläufen ausgeführt werden.
Der Leitfaden geht von einer manuellen Neuerstellung aus. Dazu übertragen Entwickler Prompts, Modellanbieter, Testfälle und Bewertungskriterien in die Konfiguration. Der beschriebene Weg setzt keine Exportfunktion von OpenAI Evals voraus. Ob und wie bestimmte Daten anderweitig exportiert werden können, beantwortet dieser Leitfaden nicht.
Ein neuer Durchlauf in Promptfoo ist ein eigener Testlauf. Wer die Ergebnisse mit früheren Auswertungen vergleicht, sollte die neu eingerichteten Kriterien und Ausgaben prüfen: Besonders bei Bewertungen durch ein Sprachmodell oder bei Ähnlichkeitswerten müssen Zahlen zwischen den Systemen nicht identisch ausfallen. OpenAI empfiehlt, solche nachgebauten Bewertungen zu überprüfen, bevor sie über Änderungen an einer Anwendung entscheiden.
Was Teams jetzt vorbereiten können
Der erste Schritt ist eine Bestandsaufnahme: Welche Tests, Eingaben und Bewertungskriterien werden tatsächlich für wichtige Anwendungen benötigt? Danach lassen sich diese Bestandteile anhand der verfügbaren Informationen in einer neuen Konfiguration nachbilden. Ein Vergleich einzelner Fälle zeigt, ob der neue Test das Gewünschte erfasst.
Für Nutzer des datensatzgestützten Optimizers ist außerdem wichtig, die zugehörigen Beispiele und Bewertungen im Blick zu behalten. Der beschriebene Migrationsweg ersetzt den gewohnten Optimierungsablauf nicht automatisch. Die konkrete Übernahme und Prüfung bleibt Aufgabe des jeweiligen Teams.
Quellen
- OpenAI: Deprecations, Abschnitt Evals platform
- OpenAI: Prompt optimizer
- OpenAI: Moving from OpenAI Evals to Promptfoo, 3. Juni 2026
Für diesen Artikel wurden KI-gestützte Recherche- und Editierwerkzeuge verwendet. Der Inhalt wurde redaktionell geprüft.
