Neuigkeiten

Hugging Face stellt Modellanfragen auf OpenRouter um

Hugging Face leitet Sprachmodellanfragen über OpenRouter. Was sich bei Anbietern, Abrechnung und eigenen Schlüsseln ändert.

Von Wolfgang

17. Nov. 20263 Min. Lesezeit

Laptop und Server mit Artikelüberschrift

Hugging Face stellt die Weiterleitung von Anfragen an Sprachmodelle um: Der Dienst Inference Providers nutzt dafür künftig den Router von OpenRouter. Er wählt aus verfügbaren Rechenanbietern einen passenden Dienst aus. Für bestehende Anwendungen soll der Aufruf gleich bleiben; eine Änderung betrifft jedoch eigene Zugangsschlüssel zu den Anbietern.

Die Plattform kündigte den Wechsel am 16. November an. Betroffen sind Anfragen an Sprachmodelle über Inference Providers. Bild-, Video- und Audiogenerierung laufen laut Hugging Face zunächst weiter über den bisherigen Weg.

Was ein Router bei einer KI-Anfrage macht

Ein Sprachmodell kann bei verschiedenen Unternehmen auf deren Rechnern laufen. Wer eine Anwendung entwickelt, muss dadurch nicht zwingend selbst einen Server betreiben. Die Anwendung sendet ihre Anfrage über eine Programmierschnittstelle, kurz API, und erhält die Antwort des gewählten Modells zurück.

Zwischen Anfrage und Rechenanbieter sitzt nun OpenRouter. Der Dienst berücksichtigt nach Angaben von Hugging Face unter anderem Preis, Geschwindigkeit und Zuverlässigkeit der verfügbaren Anbieter. Schlägt ein Versuch fehl, kann die Anfrage bei einem anderen Anbieter erneut versucht werden. Bislang habe der bisherige Router in diesem Fall den Fehler zurückgegeben.

Schema einer Anfrage, die OpenRouter an einen von mehreren Anbietern weiterleitet
Der Router wählt aus verfügbaren Anbietern; die Darstellung zeigt den Weg schematisch. (Quelle: KI generiert)

Das Modell bleibt dabei die gewünschte Software. Der Anbieter ist der Dienst, der sie ausführt. Ein Wechsel des Anbieters bedeutet deshalb nicht automatisch einen Wechsel des Modells. Welcher Dienst die Anfrage verarbeitet, ist trotzdem relevant: Preise und Bedingungen können sich zwischen den Anbietern unterscheiden.

Auswahl bleibt möglich

Wer die automatische Wahl nicht vollständig dem Router überlassen möchte, kann laut Ankündigung eine Vorgabe an die Modellkennung hängen: etwa einen bestimmten Anbieter, die günstigste oder die schnellste Option. In den Hugging-Face-Einstellungen lassen sich Anbieter außerdem abschalten. Für Organisationen gelten entsprechende Einstellungen für Anfragen, die über die Organisation abgerechnet werden.

Auf Modellseiten sollen neue Ansichten zeigen, welche Anbieter verfügbar sind und welche Preise sowie Leistungswerte sie zuletzt hatten. In der Nutzungsübersicht lässt sich laut Hugging Face nachvollziehen, welchem Anbieter eine Ausgabe zugeordnet wurde. Die Angaben helfen bei der Auswahl; sie sind eine Momentaufnahme und keine Garantie für die Geschwindigkeit einer späteren Anfrage.

Gerade bei sensiblen Eingaben lohnt der Blick auf die gewählten Dienste und deren Bedingungen. Die Weiterleitung entscheidet mit darüber, welche Beteiligten eine Anfrage verarbeiten. Eine automatische Auswahl allein sagt noch nicht, welche Datenschutz- oder Speicherregeln für den konkreten Einsatz gelten. OpenRouter beschreibt in seiner Dokumentation zur Anbieterauswahl verschiedene Filter; welche davon in einer bestimmten Integration verfügbar sind, muss dort geprüft werden.

Was bei Kosten und Schlüsseln anders ist

Die Abrechnung läuft für die betroffenen Sprachmodellanfragen über das Hugging-Face-Konto oder die Organisation. Nach Angaben des Unternehmens wird der Preis des jeweiligen Anbieters berechnet, ohne zusätzlichen Aufschlag durch Hugging Face. Je nach Tarif können enthaltene Guthaben hinzukommen. Welche Kosten eine Anfrage verursacht, hängt weiterhin vom gewählten Modell, Anbieter und der Nutzung ab.

Eine konkrete Umstellung betrifft eigene API-Schlüssel: Wer bisher für Sprachmodelle einen eigenen Schlüssel eines Rechenanbieters hinterlegt hat, kann diesen auf dem neuen Weg nicht weiterverwenden. Der Anbieter lässt sich dennoch gezielt auswählen oder ausschließen. Für Bild- und Videoanbieter sollen eigene Schlüssel laut Ankündigung weiter funktionieren.

Für Entwickler ist der Wechsel damit vor allem eine Änderung hinter der vertrauten Schnittstelle. Vorhandener Code soll laut Hugging Face gleich bleiben. Wer bisher auf eigene Anbieterverträge oder eine feste Auswahl gesetzt hat, sollte die Einstellungen und Abrechnung seiner konkreten Anwendung prüfen.

Quellen

Für diesen Artikel wurden KI-gestützte Recherche- und Editierwerkzeuge verwendet. Der Inhalt wurde redaktionell geprüft.