Technik

Mistral gibt die Gewichte von Large 4 frei

Mistral veröffentlicht die Gewichte von Large 4. Das ermöglicht eigenen Betrieb und Anpassungen, stellt aber Anforderungen an Hardware und Lizenz.

Von Wolfgang

30. Okt. 20264 Min. Lesezeit

Symbolisches Modellpaket und Server mit Artikelüberschrift

Das französische KI-Unternehmen Mistral hat die Modellgewichte von Large 4 veröffentlicht. Damit können Entwickler und Unternehmen das Sprachmodell selbst betreiben und anpassen, statt ausschließlich eine Schnittstelle des Anbieters zu nutzen. Die Freigabe vom 29. Oktober bringt allerdings zwei praktische Fragen mit: Welche Rechner können ein so großes Modell ausführen, und für welche Geschäftsmodelle gilt die Lizenz?

Am 6. Oktober hatte Mistral zunächst eine öffentliche Vorschau über seine API gestartet und die Gewichte für das Monatsende angekündigt. Die jetzt veröffentlichte Fassung wurde nach Angaben des Unternehmens seitdem weiter trainiert. Das Modell trägt auch den Spitznamen „Le Chonk“.

Was offene Gewichte verändern

Ein KI-Modell lernt beim Training zahlreiche Zahlenwerte, die sogenannten Gewichte. Sie bestimmen mit, wie es auf eine Eingabe reagiert. Wer nur eine API nutzt, schickt Anfragen an einen betriebenen Dienst und erhält Antworten zurück. Mit den veröffentlichten Gewichten lässt sich das Modell dagegen auf eigener oder gemieteter Infrastruktur einrichten und weiter anpassen, sofern die Lizenz eingehalten wird.

Für Unternehmen kann das mehr Kontrolle über den Betrieb und den Umgang mit Eingaben bedeuten. Die Verantwortung verschiebt sich damit aber auch zu ihnen: Sie müssen geeignete Hardware, Wartung und Schutzmaßnahmen selbst organisieren. Die Freigabe der Gewichte bedeutet außerdem nicht, dass sämtliche Trainingsdaten und jeder Schritt der Modellentwicklung öffentlich sind.

Eine Billion Parameter, aber nicht alle gleichzeitig aktiv

Large 4 verarbeitet laut Mistrals Modellkarte Text und Bilder als Eingabe und gibt Text aus. Es besteht aus rund einer Billion Parametern. Für die Verarbeitung eines Tokens, also eines kleinen Textbausteins, sind demnach etwa 49 Milliarden Parameter aktiv; zählt man Ein- und Ausgabeschichten hinzu, sind es rund 52 Milliarden.

Der Unterschied hängt mit dem Aufbau als „Mixture of Experts“ zusammen. Vereinfacht gesagt besitzt das Modell viele spezialisierte Teilnetze. Eine Auswahl entscheidet für einen Verarbeitungsschritt, welche davon beitragen. Mistral beschreibt 128 auswählbare Experten, von denen vier pro Token aktiviert werden, sowie einen gemeinsamen Experten. Das spart Rechenarbeit gegenüber einem Ansatz, der bei jedem Schritt alle Teile gleichzeitig nutzt. Die übrigen Gewichte müssen für den Betrieb dennoch bereitgehalten werden; die Zahl aktiver Parameter allein beschreibt daher nicht den gesamten Speicherbedarf.

Auswahl von vier Experten und einem gemeinsamen Experten für ein Token — Bei der Expertenauswahl werden vier von 128 auswählbaren Teilnetzen und ein gemeinsames Teilnetz genutzt. Die Darstellung ist schematisch. (Quelle: KI generiert)

Die Modellkarte nennt auch eine stärker komprimierte NVFP4-Variante für Nvidias Blackwell-Grafikprozessoren. Sie benötigt laut Mistral weniger Speicher. Welche konkrete Ausstattung für eine Installation ausreicht, hängt unter anderem von der Variante und der Einsatzkonfiguration ab; die Veröffentlichung macht Large 4 nicht automatisch zu einem Modell für gewöhnliche Laptops.

Was die Lizenz erlaubt und einschränkt

Die Mistral Ecosystem Open-Weight License erlaubt unter ihren Bedingungen unter anderem, das Modell zu nutzen, zu kopieren, zu verändern und weiterzugeben. Dabei müssen die Lizenz- und Copyright-Hinweise erhalten bleiben.

Eine zusätzliche Bedingung betrifft Anbieter eines „Model as a Service“-Geschäfts: Betreibt der Lizenznehmer oder ein verbundenes Unternehmen ein solches Geschäft, verlangt die Lizenz vor kommerzieller Nutzung des Modells oder seiner Ableitungen eine separate Vereinbarung mit Mistral. Gemeint ist dort der Zugang Dritter zur Inferenz oder zum Nachtraining mit maßgeblicher Kontrolle über Eingaben, Parameter oder Trainingsdaten. Funktionen, die nur in konkrete Endnutzerprodukte eingebettet sind, und die bloße Weiterleitung an anderswo gehostete Modelle nimmt die Definition aus. Auch interne Nutzung und Zugriff über offizielle Mistral-Produkte sind von der Zusatzbedingung ausgenommen. Für die eigene Entscheidung zählt der genaue Lizenztext und der tatsächliche Einsatz.

Verbesserungen laut Hersteller

Mistral berichtet, Large 4 nach der Vorschau insbesondere für Programmieraufgaben und defensive Cybersicherheit weiter trainiert zu haben. Im eigenen Vergleich nennt das Unternehmen für Terminal-Bench 4.0 einen Anstieg auf 41 Prozent, 13 Prozentpunkte über der Vorschau, bei zugleich 30 Prozent weniger Ausgabetokens. Der Test betrifft eine bestimmte Auswahl terminalbasierter Aufgaben; aus ihm allein lässt sich nicht ableiten, welches Modell bei jeder Aufgabe oder für jeden Betrieb am besten ist.

Für Entwickler ist die Veränderung trotzdem konkret: Neben dem Zugriff über Mistrals Dienst gibt es nun ein herunterladbares Modell mit Spielraum für eigene Anpassungen. Ob dieser Weg sinnvoll ist, entscheidet sich an der verfügbaren Infrastruktur, den Anforderungen an den Betrieb und den Lizenzbedingungen.