Technik

Wie BotPsy Aufgaben auf Geräten erledigen soll.

Ein kleines Sprachmodell soll Werkzeuge lokal nutzen. Was die Tests zeigen und wo der Assistent an Grenzen stößt.

Von Wolfgang

12. Nov. 20263 Min. Lesezeit

Illustration eines Smartphones mit lokalem Assistenten.

Ein kleiner KI-Assistent soll Aufgaben direkt auf dem eigenen Gerät vorbereiten und dafür Programme als Werkzeuge nutzen. Tether AI Research stellt mit BotPsy ein Sprachmodell mit 0,8 Milliarden Parametern vor, das für solche Aufrufe trainiert wurde. Die Entwickler berichten von besseren Ergebnissen als beim zugrunde liegenden Modell. Ihre Tests zeigen zugleich, wo der Assistent noch scheitert.

Der Ansatz richtet sich an einfache bis mittelschwere Aufgaben. Ein denkbares Beispiel ist ein Kalenderwunsch: Das Modell muss erkennen, welches Werkzeug zuständig ist, und die nötigen Angaben in einer Form übergeben, die das Programm versteht. Das Werkzeug selbst führt den Aufruf aus und gibt ein Ergebnis zurück. Welche Funktionen tatsächlich verfügbar sind, hängt von der jeweiligen Anwendung und ihren Berechtigungen ab.

Schema: Eine Anfrage gelangt zum Modell, das ein Kalenderwerkzeug aufruft und dessen Antwort erhält.
Ein Werkzeugaufruf verbindet Modell und Anwendung; das Werkzeug meldet sein Ergebnis zurück. Schematische Darstellung. (Quelle: KI generiert)

Ein kleines Modell für konkrete Schritte

BotPsy baut auf Qwen3.5-0.8B auf. Die Zahl der Parameter beschreibt die Größe des Modells anhand seiner gelernten Werte. Sie sagt allein noch nicht, wie zuverlässig ein Assistent arbeitet. Tether hat das Modell nach eigenen Angaben speziell für den Umgang mit Werkzeugen nachtrainiert.

Dazu sah es zunächst Beispiele für passende Aufrufe und für Fälle, in denen kein Werkzeug verwendet werden sollte. Anschließend lernte es mit Rückmeldungen größerer spezialisierter Modelle. In zwei weiteren Trainingsrunden bewerteten Regeln und Prüfprogramme unter anderem, ob Werkzeugnamen und übergebene Werte stimmten. So sollte das Modell lernen, eine Anfrage in einzelne ausführbare Schritte zu übersetzen.

Das Modell kann nach Angaben der Entwickler für lokale Ausführung eingesetzt werden. Lokal bedeutet dabei, dass die Modellberechnung auf dem eigenen Gerät stattfindet. Ein verbundenes Werkzeug kann trotzdem Daten nach außen übertragen: Eine Websuche oder ein Onlinekalender funktioniert anders als eine ausschließlich lokal gespeicherte Datei. Entscheidend ist daher die konkrete Anwendung, nicht nur der Ort der Modellberechnung.

Was die Tests aussagen

In den von Tether veröffentlichten Vergleichen erreichte BotPsy beim Werkzeugtest BFCL v4 einen Wert von 44,0 gegenüber 23,4 für das Basismodell. Der Berkeley-Test prüft unter anderem, ob Sprachmodelle geeignete Funktionen auswählen und Argumente richtig einsetzen. Die Werte stammen aus dem Vergleich der Entwickler und beschreiben diese Testaufgaben; sie sind keine Fehlerquote für alle Alltagssituationen.

Auch die Messmethode hat Grenzen. Eine unabhängige Prüfung von Epoch AI fand bei 24 von 50 zufällig ausgewählten BFCL-v4-Aufgaben Mängel, die die Bewertung beeinflussen können. Die Stichprobe betrifft den Benchmark, nicht speziell BotPsy. Ein einzelner Wert sollte deshalb nicht als endgültiger Beweis für einen zuverlässigeren Assistenten gelesen werden.

Tether nennt selbst Schwächen bei mehrstufiger Informationssuche. In einem Angriffstest mit manipulierten Anweisungen in fremden Inhalten meldeten die Autoren für BotPsy 31 Prozent unsichere Antworten. Das ist ein Ergebnis ihrer Testanordnung, keine allgemeine Wahrscheinlichkeit für einen erfolgreichen Angriff. Es zeigt aber, warum ein Werkzeugaufruf und die Daten, die ein Assistent dabei liest, kontrolliert werden müssen.

Das Modell ist damit ein Baustein für Anwendungen, kein fertiger Nachweis, dass jede Aufgabe auf jedem Smartphone sicher gelingt. Ob ein Assistent sinnvoll hilft, hängt auch von den angeschlossenen Werkzeugen, ihren Zugriffsrechten und dem Umgang mit Fehlern ab.

Quellen

Für diesen Artikel wurden KI-gestützte Recherche- und Editierwerkzeuge verwendet. Der Inhalt wurde redaktionell geprüft.