Ein KI-Modell auf dem eigenen Rechner zu nutzen, erfordert oft mehrere Bausteine: ein Modell, eine passende Laufzeit und eine Verbindung zur Anwendung. Canonicals Inference Manager soll einen Teil dieser Arbeit bündeln. Das Kommandozeilenwerkzeug verwaltet lokale Modellpakete und bietet Programmen eine gemeinsame Adresse für ihre Anfragen.
Canonical stellte den Manager beim Ubuntu Summit vor. Das öffentliche Projekt beschreibt, wie Nutzer verfügbare Anbieter finden, installieren und ihren Status prüfen. Der Nachrichtenanlass liegt vor dem Wochenende; die technische Dokumentation zeigt den derzeit beschriebenen Funktionsumfang.
Ein Eingang für mehrere Modelle
Wer ein Sprachmodell lokal betreibt, schickt eine Frage an eine Software auf dem eigenen Computer. Diese Software lädt das Modell und berechnet daraus eine Antwort. Die Ausführung eines trainierten Modells heißt Inferenz. Unterschiedliche Modelle können unterschiedliche Laufzeitprogramme und Einstellungen benötigen.
Der Inference Manager setzt davor eine gemeinsame Vermittlungsstelle, einen Proxy. Eine Anwendung spricht diese lokale Schnittstelle an; der Proxy leitet die Anfrage an den gewählten Anbieter weiter. Canonical zeigt dafür die Adresse localhost:8400/v1. „Localhost“ bezeichnet den eigenen Rechner. Die Adresse ist also der lokale Eingang für Anwendungen, nicht die Webadresse eines fremden Servers.

Im Beispiel des Projekts nennt die Anfrage sowohl den Provider als auch das gewünschte Modell. Der gemeinsame Eingang kann so mehrere installierte Anbieter erreichbar machen. Ein Programm muss dafür die Schnittstelle unterstützen und passend eingerichtet werden. Der Manager selbst ist nicht das Sprachmodell: Er organisiert den Zugang zu den getrennt installierten Bausteinen.
Was die Pakete übernehmen
Die Grundlage bilden sogenannte Inference Snaps. Ein Snap ist ein Softwarepaket; in diesem Fall bringt es ein KI-Modell und die nötige Umgebung für seine Ausführung zusammen. Laut Canonical-Dokumentation erkennen diese Pakete die Hardware und wählen dafür geeignete Laufzeit- und Modelloptimierungen aus. Je nach Paket können Prozessor, Grafikkarte oder ein spezialisierter KI-Chip zum Einsatz kommen.
Das vereinfacht die Einrichtung, hebt die Unterschiede zwischen Rechnern aber nicht auf. Welche Modelle und Beschleuniger funktionieren, hängt vom jeweiligen Paket und der verfügbaren Hardware ab. Große Modelle benötigen entsprechend Ressourcen; eine einheitliche Schnittstelle macht einen zu kleinen Speicher nicht größer. Das Projekt dokumentiert keine allgemeine Leistungsgarantie für jeden Rechner.
Über die Kommandozeile lassen sich laut Projektseite Provider suchen und installieren, verfügbare Modelle auflisten sowie Dienst und Zustand prüfen. Das Beispiel beginnt mit sudo snap install inference. Anschließend sucht ein Befehl nach einem Anbieter, ein weiterer installiert ihn. Für Menschen, die eine grafische App erwarten, ist das eine wichtige Unterscheidung: Die dokumentierte Verwaltung erfolgt per Terminal.
Lokal rechnen heißt nicht automatisch überall offline
Der praktische Vorteil des gemeinsamen Eingangs liegt vor allem in der Anbindung: Eine Anwendung muss nicht für jeden lokalen Provider eine andere Adresse verwalten. Wer ein Modell wechselt, kann den vorgesehenen Modellnamen in der Anfrage anpassen. Ob eine bestimmte Anwendung das bereits unterstützt, entscheidet allerdings ihre eigene Konfiguration.
Die Modellberechnung findet bei den beschriebenen lokalen Providern auf dem eigenen Gerät statt. Daraus folgt nicht, dass jede angeschlossene Anwendung ausschließlich lokal arbeitet oder keinerlei Daten anderswohin sendet. Wer vertrauliche Inhalte verarbeitet, muss auch die Einstellungen der jeweiligen Anwendung und ihrer weiteren Dienste beachten.
Canonical veröffentlicht den Quellcode des Managers unter GPL-3.0. Die Pakete und Modelle haben jeweils eigene Bedingungen. Der Manager macht lokale KI damit leichter ansprechbar; welche Qualität, Geschwindigkeit und Lizenz ein konkretes Modell bietet, bleibt eine Frage des ausgewählten Providers.
Quellen
- Canonical: Inference Manager, Projekt und Dokumentation
- Canonical: Inference Snaps, Dokumentation
- Canonical: Vorstellung beim Ubuntu Summit
Für diesen Artikel wurden KI-gestützte Recherche- und Editierwerkzeuge verwendet. Der Inhalt wurde redaktionell geprüft.