Mehr KI-Rechenleistung für offene Modelle: Was der IBM-Together-Deal für Europa zeigt

IBM und Together AI kündigen ein geplantes NVIDIA-HGX-B300-Vorhaben für offene KI-Inferenz an. Was Vertrag, Q1-2027-Plan und Europa-Kontext wirklich aussagen.

Von Wolfgang

12. Aug. 20269 Min. Lesezeit

IBM und Together AI kündigen ein geplantes NVIDIA-HGX-B300-Vorhaben für offene KI-Inferenz an. Was Vertrag, Q1-2027-Plan und Europa-Kontext wirklich aussagen.

Das Wichtigste in 30 Sekunden

IBM und Together AI haben am 11. August 2026 eine mehrjährige Vereinbarung über 240 Millionen US-Dollar angekündigt. Geplant ist, dass IBM auf IBM Cloud einen großen Cluster mit NVIDIA-HGX-B300-Systemen bereitstellt. Together AI soll diese Infrastruktur für die Inferenz offener Modelle nutzen.

Entscheidend ist die zeitliche Einordnung: Bekannt ist der Vertrag. Die Infrastruktur ist geplant. Ihre Verfügbarkeit wird für das erste Quartal 2027 erwartet. Ein gebauter oder bereits laufender Cluster ist damit nicht belegt.

Der Vorgang zeigt, weshalb KI-Infrastruktur nicht beim Training eines Modells endet. Auch die dauerhafte Ausführung fertiger Modelle verlangt Rechenkapazität, Netzwerk, Serving-Software und geregelte Betriebsbedingungen. Offene Modelle beantworten diese Fragen nicht automatisch.

Inhaltsverzeichnis

Warum Inferenz zur eigenen Infrastrukturfrage wird

Wer ein Sprachmodell, einen Assistenten oder eine KI-Funktion einsetzen möchte, trifft rasch auf eine praktische Reibung: Das Modell kann längst trainiert sein, doch jede einzelne Anfrage muss weiterhin zuverlässig verarbeitet werden. Diese laufende Ausführung heißt Inferenz. Sie beeinflusst, ob eine Anwendung im Alltag erreichbar bleibt, wie sie mit hoher Nachfrage umgeht und unter welchen Bedingungen Daten verarbeitet werden.

Training und Inferenz werden häufig gemeinsam als KI-Rechenleistung beschrieben. Im Betrieb sind es jedoch zwei unterschiedliche Phasen. Beim Training entstehen die Modellgewichte. Bei der Inferenz nutzt ein bereits trainiertes Modell diese Gewichte, um auf Eingaben zu reagieren. Damit rückt neben der Entwicklung eines Modells auch seine dauerhafte Ausführung in den Blick.

Die angekündigte Zusammenarbeit von IBM und Together AI macht genau diese Betriebsphase sichtbar. Laut Ankündigung geht es um Infrastruktur für die Inferenz offener Modelle auf IBM Cloud. Sie belegt weder ein bereits laufendes System noch konkrete Preise, Antwortzeiten oder Auslastungswerte.

Zwei Fachleute prüfen unbeschriftete Server- und Netzwerkkabel-Komponenten in einem nüchternen Rechenzentrums-Planungsraum — Rechencluster, Netzwerk und Serving gehören zu den getrennten Ebenen der KI-Inferenz – durch KI erzeugt

Was die Vereinbarung festhält – und was offen bleibt

Am 11. August 2026 wurde eine mehrjährige Vereinbarung über 240 Millionen US-Dollar angekündigt. IBM beschreibt darin die geplante Bereitstellung eines großen Clusters aus NVIDIA-HGX-B300-Systemen auf IBM Cloud. Together AI soll die Infrastruktur für die Inferenz offener Modelle verwenden. Die Verfügbarkeit wird für das erste Quartal 2027 erwartet.

Diese vier Stufen sollten sauber auseinandergehalten werden. Ein Vertrag dokumentiert eine geschäftliche Vereinbarung. Eine geplante Bereitstellung beschreibt ein Vorhaben. Eine erwartete Verfügbarkeit nennt einen Plantermin. Erst ein späterer laufender Betrieb könnte zeigen, welche Konfiguration tatsächlich installiert wurde und welche Werte sich unter realer Nutzung ergeben.

Stufe	Was belegt ist	Was daraus nicht folgt
Vereinbarung	IBM und Together AI kündigten eine mehrjährige Vereinbarung über 240 Millionen US-Dollar an.	Keine konkrete Zahl von HGX-Systemen oder GPUs.
Geplante Bereitstellung	IBM ist positioniert, einen großen HGX-B300-Cluster auf IBM Cloud bereitzustellen.	Kein Nachweis eines fertig installierten Clusters.
Erwartete Verfügbarkeit	Das erste Quartal 2027 wird als Erwartung genannt.	Kein garantiertes Lieferdatum und kein Beleg für spätere regionale Verfügbarkeit.
Laufender Betrieb	Für diesen Status liegen in den Quellen keine Projektmessungen vor.	Keine Aussagen zu Auslastung, Latenz, Tokenkosten, Energieverbrauch oder Rendite.

Gerade bei großen Infrastrukturankündigungen schützt diese Trennung vor falschen Schlüssen. Der Wert der Vereinbarung beschreibt nicht die Größe des späteren Systems. Ebenso wenig lässt sich daraus auf Kosten einzelner Modellanfragen oder auf die Wirtschaftlichkeit des Betriebs schließen.

Training und Inferenz: zwei Betriebsphasen, zwei Aufgaben

Beim Training verarbeitet ein Modell große Datenmengen und passt seine Gewichte an. In dieser Phase lernt es, Muster in Texten, Bildern oder anderen Daten zu erkennen. Ein Trainingslauf ist meist zeitlich begrenzt, auch wenn später weitere Modellversionen entstehen können.

Inferenz beginnt danach – dort, wo Menschen oder Software ein Modell verwenden. Eine Eingabe wird angenommen, verarbeitet und mit einer Antwort oder einem Ergebnis beantwortet. Das geschieht bei jeder Anfrage erneut. Inferenz wird deshalb zur Betriebsaufgabe: Kapazität muss bereitstehen, Anfragen müssen verteilt werden, und der Weg zwischen Anwendung, Modell und Daten braucht technische wie organisatorische Regeln.

Das macht Training nicht weniger wichtig. Es erklärt aber, warum Anbieter auch für die Ausführung fertiger Modelle eigene Infrastruktur planen. Modellgewichte allein ergeben noch keinen nutzbaren Dienst. Erst Rechenressourcen, Netzwerk und Betriebssoftware zusammen machen daraus ein Angebot, das Anwendungen ansprechen können.

Redaktionelle Grafik trennt Training mit Daten und Modellgewichten von Inferenz mit Anfrage, Serving, Rechencluster und Antwort — Training erzeugt Modellgewichte, Inferenz verarbeitet laufende Anfragen – durch KI erzeugt

HGX B300 und Spectrum-X: Rechnen und Vernetzen gehören zusammen

HGX ist eine NVIDIA-Plattform für große KI-Infrastrukturen. Sie verbindet GPU-Rechenleistung mit schnellen internen Verbindungen und Netzwerkkomponenten. Die NVIDIA-Dokumentation beschreibt HGX B300 als Plattform mit acht intern über NVLink verbundenen Blackwell-GPUs. Das ist eine Architekturdefinition, aber keine Angabe dazu, wie viele dieser Systeme im angekündigten IBM-Projekt später stehen werden.

Der technische Kern lässt sich einfach beschreiben: Bei großen KI-Aufgaben arbeitet nicht nur ein einzelner Beschleuniger. Rechenkomponenten müssen Daten austauschen, Anfragen verteilen und Ergebnisse wieder zusammenführen. Engpässe können daher nicht allein an der GPU entstehen. Auch die Verbindungen innerhalb eines Systems und zwischen mehreren Systemen beeinflussen den Betrieb.

Für das geplante Vorhaben wird außerdem NVIDIA Spectrum-X als Ethernet-Netzwerkplattform genannt. Das ordnet das Netzwerk als festen Teil der Infrastruktur ein. Gemessene Projektleistung lässt sich daraus jedoch nicht ableiten. Konkrete Antwortzeiten, Durchsatzwerte oder die tatsächliche Auslegung der Umgebung sind nicht veröffentlicht.

Serving-Schicht: Zwischen Modell und Anwendung liegt der Betrieb

Eine Serving-Schicht ist vereinfacht die Betriebssoftware zwischen Anwendung und Modell. Sie nimmt Anfragen entgegen, leitet sie an ein verfügbares Modell und passende Rechenressourcen weiter und liefert die Ergebnisse zurück. In einer produktiven Umgebung gehören auch die Steuerung von Last, Zugängen und Datenwegen dazu.

Diese Ebene macht deutlich, warum ein Modell nicht einfach mit einem Cloud-Standort gleichgesetzt werden kann. Modellgewichte, die Software zur Bereitstellung eines Modells und die Infrastruktur, auf der sie läuft, sind getrennte Schichten. Unterschiedliche Akteure können jeweils unterschiedliche Teile kontrollieren.

Für Beschaffungsentscheidungen ist diese Unterscheidung hilfreich. Ein Unternehmen sollte nicht nur fragen, welches Modell verfügbar ist. Ebenso wichtig sind die Bedingungen des Serving: Wo wird es betrieben? Welche Datenverarbeitung ist vertraglich geregelt? Wie sind Zugriffe, Verfügbarkeit und Verantwortlichkeiten organisiert? Für das angekündigte Vorhaben bleiben diese Punkte offen.

Offene Modelle: mehr Auswahl, aber keine automatische Kontrolle

Der Deal ist auf die Inferenz offener Modelle ausgerichtet. Offen kann verschiedene Ebenen meinen, etwa zugängliche Modellgewichte oder eine offenere Softwareumgebung für die Bereitstellung. Daraus entsteht zunächst mehr Auswahl bei der Modellnutzung. Daraus folgt jedoch nicht automatisch, wer die zugrunde liegende Cloud-Infrastruktur kontrolliert oder unter welchen Bedingungen sie betrieben wird.

Auch Datenschutz, Preis und Souveränität lassen sich nicht pauschal aus dem Wort „offen“ ableiten. Ein offenes Modell kann auf Infrastruktur eines externen Anbieters laufen. Umgekehrt beantwortet ein bestimmter Cloud-Betriebsort allein nicht die Frage, welche Modellgewichte oder Serving-Komponenten eingesetzt werden. Die Ebenen müssen getrennt geprüft werden.

Das ist besonders relevant, wenn sensible Daten, regulatorische Vorgaben oder langfristige Wechselmöglichkeiten eine Rolle spielen. Die technische Offenheit eines Modells kann eine Option sein. Sie ersetzt keine Prüfung von Verträgen, Datenflüssen, Zugriffsrechten und Betriebsorten.

Redaktionelle Einordnungsgrafik ordnet Modell, Serving, Cloud, Daten und Vertrag als getrennte Fragen einer Beschaffungsprüfung — Offene Modelle ersetzen keine Prüfung von Serving, Cloud, Daten und Vertrag – durch KI erzeugt

Europa und Deutschland: die Beschaffungsfrage bleibt konkret

Die EU-Kommission verfolgt das politische Ziel, Cloud- und Rechenzentrumskapazität in Europa auszubauen. Auf ihrer Seite zum Cloud and AI Development Act nennt sie unter anderem mindestens eine Verdreifachung der EU-Rechenzentrumskapazität innerhalb der nächsten fünf bis sieben Jahre. Das beschreibt einen politischen Infrastrukturrahmen.

Der IBM-Together-Deal belegt dagegen keinen europäischen Standort, keine EU-Finanzierung und keinen deutschen Rollout. Für Leserinnen und Leser in Deutschland liegt der praktische Bezug deshalb nicht in einer geografischen Zusage, sondern in einer Beschaffungsfrage: Was müsste vor einer späteren Nutzung geklärt sein?

Diese Fragen betreffen nicht nur große Konzerne. Auch kleinere Teams können damit eine Ankündigung besser von einem nutzbaren Angebot unterscheiden. Bis zur erwarteten Verfügbarkeit im ersten Quartal 2027 bleiben beim beschriebenen Projekt insbesondere Standort, konkrete Konfiguration, Vertragsbedingungen, Modelle und spätere Betriebsdaten offen.

FAQ: Was der Deal für die KI-Infrastrukturdebatte klärt

Ist der angekündigte Cluster bereits in Betrieb?: Nein. Belegt sind die angekündigte Vereinbarung und die geplante Bereitstellung. Die Verfügbarkeit wird für das erste Quartal 2027 erwartet. Ein fertig gebauter oder laufender Cluster ist nicht nachgewiesen.
Was bedeutet Inferenz bei KI-Modellen?: Inferenz ist die Ausführung eines bereits trainierten Modells für konkrete Anfragen. Wenn eine Anwendung eine Eingabe an ein Modell sendet und eine Antwort erhält, findet Inferenz statt.
Warum braucht Inferenz eigene Infrastruktur?: Weil Anfragen fortlaufend verarbeitet werden müssen. Rechenressourcen, Netzwerk und Serving-Software greifen dafür zusammen. Das ist eine andere Betriebsaufgabe als das zeitlich begrenzte Training eines Modells.
Wie viele GPUs wird IBM dafür einsetzen?: Das ist nicht veröffentlicht. Die technische Beschreibung einer HGX-B300-Plattform sagt nichts über die Zahl der Systeme aus, die IBM tatsächlich bereitstellen wird.
Verspricht die Vereinbarung niedrigere Kosten oder schnellere Antworten?: Nein. Zu Tokenkosten, Antwortzeiten, Auslastung und späteren Leistungswerten liegen für das Projekt keine veröffentlichten Betriebsdaten vor.
Bedeutet die Nutzung offener Modelle automatisch mehr Datenschutz oder digitale Souveränität?: Nein. Offene Modellgewichte oder offene Serving-Komponenten beantworten nicht automatisch Fragen zu Cloud-Betrieb, Datenverarbeitung, Vertragsbedingungen oder Infrastrukturkontrolle.
Ist das ein europäisches oder deutsches KI-Angebot?: Die Quellen belegen weder einen europäischen Standort noch einen deutschen Rollout. Der Europa-Bezug liegt im politischen Ausbauziel für Cloud- und Rechenzentrumskapazität, nicht in einer Standortzusage dieses Projekts.