KI

MIT-Team prüft mit KI, ob Studiencode wirklich nutzbar ist.

Eine Untersuchung zeigt, warum veröffentlichter Programmcode allein noch keine nachvollziehbare Forschung garantiert.

Von Wolfgang

20. Nov. 20263 Min. Lesezeit

Illustration zur Untersuchung von Studiencode

Ein Forschungsteam hat untersucht, wie oft Studien zu medizinischen Vorhersagemodellen ihren Programmcode teilen und wie gut dieser beschrieben ist. Das Ergebnis: Ein öffentlicher Link allein macht eine Auswertung noch nicht nachvollziehbar. Sprachmodelle halfen dem Team, Hinweise auf Code in Tausenden Fachartikeln zu finden.

In der ausgewählten Stichprobe enthielten 482 von 3.967 Arbeiten, also 12,2 Prozent, eine Angabe zur Codefreigabe. Die Untersuchung erschien bereits am 9. Oktober in Nature Medicine; das beteiligte MIT erläuterte das Vorgehen am 19. November. Die Quote gilt für die untersuchten Arbeiten und lässt sich nicht auf alle medizinischen Studien übertragen.

Warum der Code überhaupt wichtig ist

Klinische Vorhersagemodelle verarbeiten mehrere Angaben, um etwa die Wahrscheinlichkeit einer Erkrankung oder eines späteren Ereignisses abzuschätzen. Wie Forschende fehlende Werte behandeln, Daten auswählen und ein Modell testen, beeinflusst das Ergebnis. Im Methodenteil einer Veröffentlichung ist nicht jeder dieser Schritte vollständig beschrieben.

Der zugehörige Programmcode kann genauer zeigen, wie die Analyse ablief. Wer Ergebnisse nachvollziehen oder auf einer Arbeit aufbauen möchte, muss aber auch verstehen, welche Dateien zusammengehören, welche Software benötigt wird und wie die Auswertung gestartet werden kann. Ein Ordner mit Programmdateien beantwortet diese Fragen nicht automatisch.

Eine Suche durch Tausende Artikel

Das Team um Forschende des MIT und des Dana-Farber Cancer Institute suchte nach Arbeiten, die die Berichtsleitlinien TRIPOD oder TRIPOD+AI zitieren. Aus dieser Gruppe wurden frei zugängliche Studien ausgewählt, die passende Vorhersagemodelle entwickelten, aktualisierten oder prüften. Andere Arbeiten und nicht über die genutzte Schnittstelle verfügbare Volltexte blieben außen vor.

Ein großes Sprachmodell half dabei, in den Artikeln Hinweise auf verfügbare Programme und Links zu finden. Anschließend bewertete das Team abrufbare Code-Sammlungen anhand von 14 vorab definierten Merkmalen, darunter Dokumentation, Softwarevoraussetzungen und Bedingungen für die Weiterverwendung. Ein Repository ist dabei eine Sammlung von Dateien, in der Forschende ihren Code ablegen können.

Schema der Suche nach Studiencode und Prüfung seiner Dokumentation
Vereinfachter Weg von den Studien zur Prüfung freigegebener Code-Sammlungen. (Quelle: KI generiert)

Das Sprachmodell ersetzte die menschliche Kontrolle nicht vollständig. Laut MIT prüften zwei Forschende unabhängig voneinander 500 Artikel und eine separate Stichprobe von Repositorien. Bei leicht feststellbaren Merkmalen wie einer Lizenzdatei stimmten die Bewertungen besser überein als bei der Frage, ob eine Dokumentation ausreichend ist. Einzelne Zuordnungsfehler bleiben möglich.

Was eine Freigabe brauchbar macht

Ein Beispiel: Eine Arbeitsgruppe veröffentlicht den Code für eine Vorhersage. Eine andere Gruppe findet die Dateien, weiß aber nicht, welche Softwareversion benötigt wird oder in welcher Reihenfolge die Programme laufen. Dann ist zwar etwas veröffentlicht, die Ergebnisse lassen sich damit aber nicht ohne Weiteres überprüfen. Das Beispiel illustriert die Art von Hürde; es beschreibt keinen einzelnen Fall aus der Studie.

Patientendaten lassen sich aus Datenschutzgründen häufig nicht öffentlich bereitstellen. Manche Forschende stellen deshalb laut MIT künstliche Beispieldaten bereit. Sie können zeigen, wie ein Programm verwendet wird, ohne echte Patientenakten offenzulegen. Für eine vollständige unabhängige Überprüfung der ursprünglichen Ergebnisse kann der Zugang zu den tatsächlichen Daten dennoch eine gesonderte Frage bleiben.

Die Übersicht soll in die Entwicklung von TRIPOD-Code einfließen. Diese geplante Erweiterung soll genauer beschreiben, welche Angaben eine brauchbare Codefreigabe enthalten sollte. Das Ergebnis der Studie ist damit vor allem eine Bestandsaufnahme: Sie zeigt Unterschiede in den untersuchten Veröffentlichungen und einen Ansatz, die Weitergabe nachvollziehbarer zu machen.

Quellen

Für diesen Artikel wurden KI-gestützte Recherche- und Editierwerkzeuge verwendet. Der Inhalt wurde redaktionell geprüft.