Kleine LLMs, große Leistung: Wie Daten‑Rezepte 3B‑Modelle stärken

Viele Leser verbinden hohe Leistungsfähigkeit schnell mit großen Modellen: mehr Parameter, mehr Rechenzeit, bessere Ergebnisse. In der Praxis lässt sich ein Teil dieser Lücke schließen, indem man nicht das Modell, sondern die Daten smarter gestaltet. Daten‑Rezepte sammeln Maßnahmen wie Auswahl, Filterung, Augmentation und Distillation zu einer Pipeline, die kleine Modelle oft deutlich leistungsfähiger macht.

Solche Rezepte sind relevant, weil sie Kosten senken und Modelle praktikabel für den Einsatz auf lokaler Hardware oder in kleinem Team machen. Gleichzeitig zeigen jüngere Projekte, dass sich gute Datenstrategien bereits auf 400M–3B‑Skalen testen lassen, bevor man aufwendige Trainingsläufe auf größere Modelle startet.

Der folgende Text verbindet allgemeine Prinzipien mit konkreten Befunden aus DataComp/DCLM‑Studien sowie einem aktuellen 3B‑Beispiel aus der Community. Am Ende steht ein klarer Blick auf Chancen, Grenzen und pragmatische Schritte.

Der wichtigste Punkt zuerst: Modelle mit wenigen Milliarden Parametern haben weniger Kapazität zum Generalisieren als sehr große Netze. Das heißt aber nicht, dass sie nicht leistungsfähig sein können. Vielmehr reagieren sie besonders stark auf die Qualität und Verteilung der Trainingsdaten. Gute Daten können Wissenslücken ausgleichen und Schwächen im Reasoning deutlich reduzieren.

Datenqualität ist für kleine Modelle oft der entscheidende Hebel; mehr Daten helfen nur, wenn die Daten die richtige Verteilung und geringe Störgeräusche haben.

Empirische Arbeiten bestätigen das: DataComp (multimodal, 2023) zeigte, dass gezielte Auswahl aus großen Candidate‑Pools bessere Ergebnisse bringt als blindes Aufschichten von Daten. Diese Studie stammt aus dem Jahr 2023 und ist damit älter als zwei Jahre; ihre Kernbotschaft — selektierte, saubere Daten lohnen sich — bleibt jedoch grundlegend. Aufbauend auf diesem Ansatz verfolgte DCLM/DataComp‑LM (2024) einen vergleichbaren Pfad für reine Sprachdaten: Ein großer Rohpool wird durch mehrstufige Filterung und Modell‑gestützte Auswahl zu deutlich besseren Trainingssets.

Für die Praxis bedeutet das: Ein gut konstruiertes Daten‑Recipe reduziert Rauschen (z. B. Duplikate, Boilerplate), entfernt problematische Inhalte und gewichtet Inhalte, die für gewünschte Fähigkeiten relevant sind (z. B. reasoning‑Prompts, strukturierte QA‑Paare). Im Ergebnis liefern Modelle mit ~3B Parametern oft eine Leistung, die früher deutlich größere Modelle benötigten.

Wenn Zahlen helfen: DCLM berichtete, dass Rankings von Data‑Recipes bei 400M und 1B Modellen stark mit 7B‑Ergebnissen korrelieren (Pearson r ≈ 0,89–0,92). Das heißt: Kleine Testläufe sind gute Indikatoren dafür, welche Rezepte sich lohnen, bevor man hochskaliert.

Wenn eine Tabelle die Unterschiede strukturierter zeigen kann, hilft das beim Vergleich von einfachen Maßnahmen und ihrem Effekt:

Ein Daten‑Recipe ist eine konkrete Abfolge von Schritten. In der Praxis bewährt haben sich folgende Bausteine: (1) Rohpool‑Extraktion und Parsing mit robusten Tools, (2) dedizierte Deduplication, (3) model‑gestützte Filter, (4) gezieltes Mixing mit hochwertigen Quellen und (5) Distillation oder Instruction‑Tuning für das Feintuning. Diese Bausteine kombinieren einfache Heuristiken mit lernenden Elementen.

Ein bewährter Workflow beginnt mit einem großen Rohpool (z. B. Common Crawl) und nutzt effiziente Parser, um sinnvolle Text‑Einheiten zu extrahieren. Tools wie resiliparse wurden in größeren Daten‑Projekten genutzt, um saubere Segmente zu erzeugen. Danach kommt Deduplication: Dabei werden exakt gleiche Dokumente, aber auch nahe Duplikate entfernt, um Overfitting auf wiederholte Phrasen zu verhindern.

Model‑based Filtering verwendet schnelle Klassifikatoren (z. B. fastText) oder einfache Transformer‑Scorer, um Segmente zu bewerten. Diese Filter sind überraschend effektiv: DCLM fand, dass einfache fastText‑Klassifikatoren in vielen Fällen leistungsstark und ressourcenschonend sind. Wichtig ist dabei die sorgfältige Konstruktion von Positiv‑ und Negativbeispielen für das Training des Filters.

Mixing bezeichnet das bewusste Hinzufügen kleiner Anteile „hochwertiger“ Quellen (Lexika, geprüfte Foren, Books), um bestimmte Fähigkeiten zu stärken. Das ist eine Gratwanderung: Zu viel Mixing verschiebt die Verteilung; zu wenig kann Defizite lassen. Praxistipp: Rezepte an kleinen Modellen testen (z. B. 400M) und nur die besten Kombinationen hochskalieren.

Für Instruction‑Tuning und Distillation ist eine mehrstufige Strategie sinnvoll: erst SFT‑Beispiele (Supervised Fine‑Tuning), darauf Distillation von starken Teacher‑Antworten und zuletzt optional Präferenz‑ oder RL‑Schritte. Ein aktuelles Beispiel ist Nanbeige4‑3B: Die Entwickler berichten von einer umfangreichen Pipeline mit Pretraining auf sehr großen Tokenmengen und einem speziellen Dual‑Level‑Distillation‑Ansatz, der token‑level Matching mit sequence‑level Präferenzoptimierung verbindet. Solche Response‑Distillation‑Techniken sind besonders wirksam, um Student‑Modelle besser auf Instruktionen und längere Antworten einzustellen.

Daten‑Rezepte eröffnen Chancen: Sie senken die Kosten, ermöglichen robuste Modelle für On‑Device‑Einsatz und machen Forschung inklusiver, weil weniger Compute nötig ist. Kleine Modelle mit guten Daten sind leichter zu auditieren, zu quantisieren und in Produkte zu integrieren.

Doch es gibt Risiken. Ein zentrales Problem ist Kontamination: Wenn Trainingsdaten Test‑Aufgaben oder häufig genutzte Benchmarks enthalten, erscheinen Errungenschaften größer als sie tatsächlich sind. Decontamination und transparente Provenance‑Berichte sind deshalb wichtig. DCLM liefert hier Werkzeuge zur Risikokontrolle, und bei älteren Datensätzen (z. B. DataComp 2023) ist besondere Vorsicht bei der Übertragung von Ergebnissen nötig — die Studie stammt aus dem Jahr 2023 und ist damit älter als zwei Jahre.

Ein weiteres Risiko ist Bias und rechtliche Zulässigkeit: Daten können Nutzungs‑ oder Lizenzprobleme bergen. Wenn proprietäre Quellen oder urheberrechtlich geschützte Texte Teil des Pools sind, entstehen rechtliche und ethische Fragen. Transparente Dokumentation, Lizenz-Checks und gegebenenfalls Ausschluss kritischer Quellen gehören zum Pflichtprogramm.

Technisch besteht die Gefahr des Überoptimierens auf Benchmarks: Manche Distillationstechniken und decode‑Settings verbessern spezifische Scores, ohne die generalisierte Nutzbarkeit zu steigern. Externe Replikationen und unabhängige Benchmarks sind deshalb unverzichtbar. Bei Nanbeige4‑3B etwa sind beeindruckende Ergebnisse berichtet worden; unabhängige Re‑Evals sind jedoch notwendig, um Effekte von Decoding‑Tricks oder Bench‑Tuning auszuschließen.

Wohin die Reise gehen könnte, zeigt die Kombination von datenzentriertem Arbeiten und neuen Distillation‑Methoden. Kleinere Modelle werden zunehmend mit komplexeren Post‑Training‑Schritten fit gemacht: Instruction‑Distillation, preference‑basierte Feinanpassung und gezielte Curriculum‑Schemata für mehr Kontext‑Verständnis. Solche Schritte sind kosteneffizient und gut dokumentierbar.

Ein konkretes Signal kommt aus jüngeren Releases: Modelle mit ≈3B Parametern erreichen durch umfangreiche Datenpipelines und spezielle Distillationstechniken Leistungen, die früher deutlich größere Modelle nötigten. Das verschiebt das ökonomische Gleichgewicht der KI‑Entwicklung und macht leistungsfähige Sprachmodelle breiter verfügbar.

Für Forscherinnen und Entwickler empfiehlt sich ein zweigleisiger Ansatz: Kurzfristig Rezepte auf kleinen Skalen testen und die besten Kombinationen hochskalieren; mittelfristig in transparente Datensatz‑Provenance und Decontamination‑Reports investieren. So lassen sich Effekte verlässlich messen und reproduzieren.

Gesellschaftlich bleibt wichtig, dass Zugänglichkeit und Verantwortung zusammengewachsen: Wer Daten kürt und filtert, trägt eine große Macht bei der Formung von Sprachmodellen. Transparenz, Auditierbarkeit und klare Dokumentation sind deshalb keine Nice‑to‑have, sondern zentrale Voraussetzungen für vertrauenswürdige Modelle.

Zusammengefasst zeigen aktuelle Erfahrungen: Gute Daten sind oft der effizienteste Weg, um kleine Modelle deutlich leistungsfähiger zu machen. Data‑Rezepte — bestehend aus Parsen, Deduplication, model‑gestützter Filterung, gezieltem Mixing und Distillation — erlauben, mit überschaubarem Aufwand robuste 3B‑Modelle zu trainieren. Wichtige Fallen wie Kontamination, Lizenzfragen und Benchmark‑Overfitting lassen sich durch transparente Reports und unabhängige Replikation reduzieren. Insgesamt verschiebt sich die Balance von „mehr Parameter“ hin zu „besseren Daten“, was Forschung, Industrie und Anwendern neue, kostengünstige Optionen eröffnet.