5 KI‑Architekturen, die du verstehen solltest

Hinter vielen KI‑Diensten stehen unterschiedliche technische Konzepte. Manche Modelle sind sehr groß und fassen viel Wissen, andere sind klein, damit sie lokal auf dem Smartphone laufen. Wieder andere kombinieren Bild‑ und Textinformationen oder aktivieren nur Teile ihres Netzwerks, um Rechenressourcen zu sparen. Diese Unterschiede entscheiden, wie zuverlässig ein System antwortet, wieviel Energie es verbraucht und ob es in Echtzeit reagieren kann.

Für Einsteiger ist wichtig zu wissen: die Architektur bestimmt das Verhalten eines Modells mehr als bloße Anzahl an Parametern. Wer die fünf verbreiteten Muster versteht, kann Einschätzungen treffen — etwa ob ein System für Übersetzungen, Bildbeschreibungen, Robotikbefehle oder Offline‑Nutzung geeignet ist. Die folgenden Kapitel erklären die Grundlagen, zeigen Beispiele aus dem Alltag, benennen Chancen und Risiken und geben einen Blick nach vorn.

Transformer sind heute die Basis für große Sprachmodelle (Large Language Models, LLM). Ein Transformer ist ein Netzwerk, das Informationen zwischen Einheiten (Tokens) gezielt gewichtet: Es lernt, welche Wörter oder Satzteile füreinander wichtig sind. Diese Architektur erlaubt effizientes Training auf großen Textmengen und liefert starke Ergebnisse bei Übersetzung, Text‑Generierung und Frage‑Antworten.

Transformer‑Modelle verbinden viele Parameter mit einer einheitlichen, gut skalierbaren Rechenstruktur und sind deshalb in vielen Anwendungen der Standard.

Im Alltag steckt ein LLM hinter automatischen E‑Mail‑Vorschlägen, Chatbots oder Textzusammenfassungen. Diese Modelle werden oft auf großen Textsammlungen vortrainiert und später für spezielle Aufgaben feinjustiert. Größere Modelle liefern oft bessere Resultate, brauchen aber deutlich mehr Rechenzeit und Speicher, was Kosten und Energieverbrauch erhöht.

Die folgende Tabelle fasst zentrale Unterschiede der fünf Architekturmuster kompakt zusammen.

Vision‑Language‑Modelle (VLM) verknüpfen visuelle Informationen mit Text. Technisch kombinieren sie einen Bildencoder mit einem Sprachmodell oder nutzen duale Encoder, die Bilder und Texte in einen gemeinsamen Merkmalsraum einbetten. Bekannt wurden solche Ansätze durch Arbeiten wie CLIP, die Bild‑Text‑Paare kontrastiv trainieren, und durch neuere Modelle, die auch generativ antworten können.

Konkrete Anwendungen sind Bildersuche mit Sprachanfragen, automatische Bildbeschreibungen für Barrierefreiheit und multimodale Chatbots, die auf Fotos reagieren. Wenn ein Nutzer ein Foto hochlädt, analysiert ein VLM die Bildinhalte und erzeugt passende Texte oder handelt Anfragen wie “Welche Gegenstände sind auf dem Foto?”.

Chancen liegen in einer natürlicheren Interaktion: Menschen nutzen oft Sprache und Bilder zugleich. Risiken ergeben sich aus Fehldeutungen und Halluzinationen — das Modell kann plausible, aber falsche Details nennen, besonders wenn Trainingsdaten lückenhaft sind. Zudem spielt die Datenqualität eine große Rolle: große Mengen an Web‑Paare bringen Leistung, ihre Herkunft und Verzerrungen müssen kritisch geprüft werden.

In den kommenden Jahren ist zu erwarten, dass VLMs präzisere visuelle Wahrnehmung liefern und multimodale Fähigkeiten stärker in Alltags‑Apps integriert werden. Gleichzeitig werden Tools zur Bewertung von Bias und Halluzination wichtiger, weil multimodale Fehler oft schwerer zu erkennen sind als reine Textfehler.

Mixture‑of‑Experts (MoE) ist ein Muster, bei dem ein Modell aus vielen spezialisierten Subnetzwerken besteht; für jede Eingabe werden nur einige wenige dieser “Experten” aktiviert. So lässt sich die Gesamtzahl der Parameter sehr hoch treiben, ohne dass die Rechenarbeit für jede Vorhersage proportional wächst.

Praktisch bedeutet das: Ein Token passiert nur einen Teil des Netzes. MoE‑Modelle wie GShard oder Switch Transformer zeigen, dass durch intelligentes Routing hohe Kapazität erreichbar ist. Der Preis ist zusätzlicher Systemaufwand: effiziente Verteilung der Arbeit, Kommunikation zwischen Rechenknoten und Balance‑Mechanismen sind nötig, damit keine Experten überlastet werden.

Ein Vorteil ist Trainingseffizienz bei großem Modellmaßstab: bei ähnlichem FLOP‑Budget lassen sich oft bessere Ergebnisse erzielen. Ein Risiko sind Trainingsinstabilitäten und höhere Systemkomplexität; in Produktion erfordert MoE aufwendiges Monitoring und spezialisiertes Engineering. Auch für Inferenz kann Routing Latenz und Ressourcennutzung erhöhen.

MoE‑Methoden sind besonders dann interessant, wenn Teams Kapazität skalieren wollen, ohne die Infrastruktur proportional zu vergrößern. Wer mit MoE arbeitet, sollte schrittweise prototypen, Routingstatistiken beobachten und Tools einsetzen, die Sharding und All‑to‑all‑Kommunikation effizient handhaben.

Zwei Entwicklungen ragen hier heraus: erstens die Technik, große Sprachmodelle so zu komprimieren, dass sie auf Smartphones laufen (man spricht von Small or Slim Models – SLM). Zweitens die Idee großer Aktionsmodelle (Large Action Models, LAM), die Aktionen oder Steuerbefehle für Roboter und Agenten planen.

Für On‑Device‑Modelle ist Quantisierung die zentrale Technik: Gewichte werden mit wenigen Bits gespeichert (z. B. 4‑Bit), oft gruppenweise, um Speicher zu sparen. Zusätzlich bringen optimierte Laufzeitbibliotheken und spezielle Kernel große Geschwindigkeitsgewinne. Das Ergebnis: Modelle mit ein paar Milliarden Parametern können lokal laufen, liefern kurze Antwortzeiten und bessere Privatsphäre, weil Daten das Gerät nicht verlassen.

LAMs sind weniger klar standardisiert, weil sie oft Domänenwissen, physikalische Plausibilität und Planung kombinieren. Solche Modelle geben Aktionsvorschläge statt reinen Texten — etwa für einen Roboterarm oder eine Spiel‑KI. Sie benötigen neben Sprach‑ oder Wahrnehmungsmodellen zusätzliche Module für Simulation, Sicherheitschecks und zeitliche Konsistenz.

Chancen bei SLM: niedrigere Latenz, Datenschutz und Offline‑Funktion. Risiken: reduzierte Genauigkeit bei stark komprimierten Modellen und heterogene Hardware. Bei LAMs gilt: hohe Anforderung an Zuverlässigkeit und Testabdeckung; Fehler können physische Konsequenzen haben. Praktisch lohnt sich eine hybride Strategie: lokale, kompakte Modelle für Interaktion plus Cloud‑Support für schwere Planung.

Verständnis für KI‑Architekturen macht die Technologie durchschaubarer: Dense Transformer liefern breite Sprachfähigkeiten, VLMs verbinden Bild und Text, MoE bietet Skalierungsspielraum, SLMs ermöglichen lokale Nutzung und LAMs überschreiten reine Vorhersage hin zu Handlungsempfehlungen. Jede Architektur bringt Stärken und Grenzen mit sich. Entscheidungen für ein Projekt sollten deshalb nicht nur auf Modellgrößen beruhen, sondern auch auf Betriebskosten, Latenz, Datenschutz und den spezifischen Anforderungen der Aufgabe.