KI

OpenAI lässt vier Gruppen interne KI-Systeme prüfen

Vier externe Teams sollen Modelle, Trainingsdaten und Schutzsysteme untersuchen. Wie weit ihr Zugang reicht und was öffentlich werden soll.

Von Wolfgang

17. Nov. 20264 Min. Lesezeit

Illustration eines Teams bei der Prüfung von KI-Systemen.

Vier externe Organisationen sollen künftig hinter die Kulissen von OpenAI schauen: Apollo Research, Goodfire, METR und Transluce haben nach Angaben des Unternehmens Vereinbarungen für eine erste Phase vertiefter Prüfungen geschlossen. Sie sollen unter anderem untersuchen, wie sich interne KI-Modelle verhalten und ob Schutzsysteme auffällige Vorgänge erkennen.

Der Zugang hängt vom jeweiligen Auftrag ab. Die Teams erhalten nicht einfach einen Generalschlüssel für das Unternehmen. Geplant sind ausgewählte Modelle und Zwischenstände aus dem Training, Daten und Prüfergebnisse, technische Dokumente sowie Gespräche mit Mitarbeitenden. Sensible Informationen sollen sie in einer gesicherten Umgebung vor Ort mit Geräten von OpenAI bearbeiten. Ergebnisse der neuen Prüfungen liegen noch nicht vor.

Warum ein Blick ins Innere einen Unterschied macht

Wer ein KI-System nur über eine öffentliche Oberfläche ausprobiert, sieht vor allem seine Antworten. Wie es während des Trainings verändert wurde, welche Testfälle bereits auffielen und wie interne Schutzmechanismen darauf reagierten, bleibt von außen meist verborgen. Genau an solchen Stellen sollen die neuen Untersuchungen ansetzen.

Ein Trainingszwischenstand ist eine gespeicherte Version eines Modells während seiner Entwicklung. Vergleichen Forschende solche Stände, können sie untersuchen, wann bestimmte Verhaltensweisen auftreten. Auch Aufzeichnungen aus Tests und Überwachung können helfen, einen auffälligen Vorgang nachzuvollziehen. Was die Teams im Einzelfall tatsächlich sehen dürfen, wird für jede Prüfung vereinbart.

Schematischer Weg von internen Systemen über externe Prüfung zu einem teilweise geschwärzten öffentlichen Bericht.
Die Prüfung verbindet begrenzten Zugang zu internen Systemen mit einer späteren öffentlichen Berichterstattung. Schematische Darstellung. (Quelle: KI generiert)

Vier Teams, verschiedene Fragen

OpenAI beschreibt für Apollo Research eine Prüfung, ob Modelle verdeckt gegen die Absichten ihrer Entwickler handeln könnten und ob Schutzmaßnahmen dies erkennen würden. Dazu sollen unter anderem ausgewählte öffentliche und unveröffentlichte Modelle, Trainingsstände, Testergebnisse und Überwachungssysteme zugänglich werden.

Goodfire will das Innenleben von Modellen untersuchen. Dabei geht es laut OpenAI unter anderem darum, Trainingsläufe zu beobachten und Hinweise für die Fehlersuche zu finden. Die Erkenntnisse sollen zunächst den internen Forschenden helfen; Goodfire soll im Verlauf auch eigene Ergebnisse veröffentlichen.

METR soll in der ersten Phase einen ausgewählten großen Trainingslauf auf unerwünschtes Verhalten untersuchen, das bisherige Tests oder Überwachung möglicherweise übersehen haben. Eine weitere Prüfung der Überwachung ist grundsätzlich vorgesehen; ihr genauer Umfang steht nach Angaben OpenAIs noch unter dem Vorbehalt einer Einigung. Transluce wiederum soll untersuchen, wie gut und wie umfassend OpenAI das Verhalten seiner Modelle nach dem Training testet.

Das Wort Alignment bezeichnet dabei vereinfacht die Frage, ob ein Modell innerhalb der vorgesehenen Ziele und Grenzen handelt. Ein einzelner gelungener Test beantwortet diese Frage nicht für jede denkbare Situation. Die Prüfungen konzentrieren sich deshalb auf festgelegte Systeme und Untersuchungsfragen.

Wie weit reicht die Unabhängigkeit?

Ein wichtiger Punkt ist, wer den Prüfbereich festlegt. OpenAI und die jeweiligen Teams vereinbaren Umfang, Zugang und Sicherheitsregeln zu Beginn. Wenn später zusätzliche Informationen nötig werden, sollen die Prüfer diese anfordern können. Für besonders sensible Geschäftsgeheimnisse nennt OpenAI auch Alternativen zur direkten Einsicht, etwa gemeinsame Analysen mit eigenen Forschenden.

METR hat bereits im Oktober ein allgemeines Konzept für eine breitere Untersuchung beschrieben. OpenAI weist selbst darauf hin, dass die nun vereinbarte erste Phase enger ausfällt. Aus dem Konzept allein lässt sich daher nicht ableiten, dass METR sämtliche dort gewünschten Daten erhält.

Die Teams sollen ihre Berichte grundsätzlich unabhängig veröffentlichen können. OpenAI behält sich vor, vertrauliche Informationen zu schwärzen und bei Sicherheitsrisiken einen Aufschub zu verlangen. Ein Aufsichtsausschuss der OpenAI Foundation soll ungeschwärzte Berichte erhalten und bei ungelösten Meinungsverschiedenheiten eingeschaltet werden.

Auch die Finanzierung ist unterschiedlich: Apollo und Goodfire erhalten laut OpenAI eine Vergütung, die nicht vom Ergebnis abhängt. METR und Transluce nehmen für die Prüfungen keine Vergütung an, können aber Rechenleistung oder API-Guthaben für ihre Arbeit erhalten. Ob die angekündigten Zugänge ausreichen und was die Untersuchungen tatsächlich finden, werden erst die späteren Berichte zeigen.

Quellen

Für diesen Artikel wurden KI-gestützte Recherche- und Editierwerkzeuge verwendet. Der Inhalt wurde redaktionell geprüft.