KfW und Bitkom: 20 Prozent Mittelstand nutzen KI – warum Projekte im Alltag scheitern

Viele KMU testen KI, aber der Nutzen bleibt oft klein. Der Engpass liegt bei Daten, Zuständigkeiten, Prozessen und Vertrauen.

Von Wolfgang

04. Juli 202610 Min. Lesezeit

Viele KMU testen KI, aber der Nutzen bleibt oft klein. Der Engpass liegt bei Daten, Zuständigkeiten, Prozessen und Vertrauen.

Für kleine und mittlere Unternehmen entscheidet sich KI nicht in der Demo, sondern am zweiten Arbeitstag: wenn Angebote, E-Mails, Excel-Listen und alte Prozessgewohnheiten wieder aufeinandertreffen. Der erste Tooltest wirkt oft erstaunlich gut. Der echte Nutzen entsteht erst, wenn das Werkzeug in den Betrieb passt.

KI scheitert im Mittelstand selten daran, dass die Technologie grundsätzlich zu schwach wäre. Sie scheitert häufiger daran, dass sie nicht in den Betrieb passt: Daten liegen verstreut, Zuständigkeiten bleiben offen, Mitarbeitende fühlen sich übergangen, und nach dem Pilotversuch weiß niemand, wer den nächsten Schritt bezahlen, prüfen oder verantworten soll.

Das klingt weniger glamourös als die große KI-Erzählung. Für kleine und mittlere Unternehmen ist es aber der Kern des Problems.

Das Wichtigste in 30 Sekunden

Adoption: KI ist im Mittelstand angekommen, aber ungleich verteilt. KfW Research meldet für 2022 bis 2024 rund 20 Prozent KI-Nutzung im Mittelstand; Bitkom sieht 2025 in der deutschen Wirtschaft 36 Prozent der Unternehmen mit KI-Einsatz.
Hauptproblem: Viele Projekte starten als Tool-Test, nicht als Prozessänderung. Dann bleibt KI neben dem eigentlichen Arbeitsablauf stehen.
Hürden: Rechtliche Unsicherheit, fehlendes Know-how, Personalmangel, Datenschutz, schlechte Daten und geringe Akzeptanz bremsen die Umsetzung.
Der bessere Einstieg: Ein kleiner, messbarer Anwendungsfall mit echten Daten, klarer Verantwortung und menschlicher Kontrolle schlägt die große KI-Roadmap.

KI-Pilot im Mittelstand zwischen Büro, Werkstatt und Angebotsunterlagen — In KMU entscheidet der Nutzen von KI oft an konkreten Arbeitsabläufen: Angebote, Serviceberichte, E-Mails und Rückfragen.

Die Demo überzeugt. Der Betrieb bremst.

Ein typisches Beispiel: Ein Maschinenbauer mit 80 Beschäftigten testet generative KI im Einkauf. Die Idee ist gut. Lieferantenangebote sollen schneller verglichen, lange PDF-Anhänge zusammengefasst und Preisabweichungen markiert werden. Im ersten Test funktioniert das beeindruckend. Drei Angebote hinein, eine verständliche Zusammenfassung heraus.

Dann beginnt der echte Betrieb.

Ein Teil der Angebote kommt als schlecht gescannte PDF. Ein anderer Teil steckt in E-Mail-Verläufen. Manche Preise enthalten Sonderrabatte, andere nicht. Ein alter Rahmenvertrag liegt im ERP-System, aber nur die Einkaufsleiterin weiß, welche Klausel wirklich relevant ist. Datenschutz fragt, ob Kundennamen in das Tool dürfen. Die IT fragt, ob die KI dauerhaft Zugriff auf das Postfach bekommen soll. Der Einkauf fragt, wer haftet, wenn die Zusammenfassung einen Preisbestandteil übersieht.

Aus einem schnellen Experiment wird eine Prozessfrage. Dort bleiben viele KMU hängen.

Die Zahlen zeigen: KI ist kein Randthema mehr

Die Ausgangslage ist nicht mehr „KI kommt irgendwann“. Sie ist da.

KfW Research meldete im Februar 2026, dass rund 20 Prozent der mittelständischen Unternehmen in Deutschland in den Jahren 2022 bis 2024 KI genutzt haben. In absoluten Zahlen entspricht das knapp 780.000 Unternehmen. Größere Mittelständler mit mehr als 50 Mitarbeitenden liegen deutlich vorn: Dort nutzten zuletzt 36 Prozent KI. Selbst bei sehr kleinen Unternehmen mit weniger als fünf Beschäftigten waren es 19 Prozent.

Auch Bitkom Research sieht 2025 einen klaren Sprung: Etwa jedes dritte Unternehmen in Deutschland nutzt KI, konkret 36 Prozent. Weitere 47 Prozent planen oder diskutieren den Einsatz. Nur noch 17 Prozent sagen, KI sei für sie kein Thema.

Das ist beachtlich. Es heißt aber nicht, dass KI schon produktiv im Unternehmen verankert ist. Zwischen „wir testen“ und „das spart regelmäßig Zeit, Geld oder Fehler“ liegt im Mittelstand ein ziemlich breiter Graben.

Warum viele KI-Projekte wirklich scheitern

Die häufigste Fehlannahme lautet: Wenn das Tool gut genug ist, kommt der Nutzen von allein. In der Praxis stimmt das selten.

Prozessdiagramm für einen KI-Pilot im Mittelstand mit Datenquelle, Prüfung und Verantwortung — Ein KI-Pilot wird erst produktiv, wenn Datenquelle, Prüfung und Verantwortung geklärt sind.

Viele KMU starten mit einer Werkzeugfrage: Welches KI-Tool sollen wir kaufen? ChatGPT? Microsoft Copilot? Ein Branchenassistent? Ein lokales Modell? Eine Erweiterung im CRM?

Die bessere Frage wäre: Welche Aufgabe kostet jede Woche Zeit, erzeugt Fehler oder bleibt liegen?

Das ist ein anderer Einstieg. Er beginnt nicht beim Modell, sondern beim Arbeitsablauf. Wo werden Informationen doppelt übertragen? Wo entstehen Rückfragen? Welche Prüfung macht ein erfahrener Mitarbeiter jeden Freitag manuell? Welche Dokumente werden immer wieder gelesen, verglichen, sortiert oder umgeschrieben?

KI kann dort stark sein. Aber nur, wenn der Prozess sauber genug beschrieben ist.

Fünf typische Bruchstellen im Mittelstand

Symptom	Was dahintersteckt	Was zuerst helfen würde
Der Pilot wirkt gut, wird aber nie ausgerollt.	Niemand besitzt den Prozess nach dem Test.	Eine fachlich verantwortliche Person und ein klarer Betriebsmodus.
Die KI liefert schwankende Ergebnisse.	Daten sind uneinheitlich, veraltet oder schlecht zugänglich.	Datenquellen eingrenzen, Testfälle definieren, Ergebnisprüfung einbauen.
Mitarbeitende nutzen das Tool kaum.	Die KI löst kein echtes Problem oder wirkt wie zusätzliche Kontrolle.	Anwendungsfall mit dem Team auswählen, nicht nur für das Team.
Datenschutz stoppt das Projekt.	Es ist unklar, welche Daten wohin fließen.	Datenklassen, Freigaben und Toolgrenzen vor dem Test festlegen.
Die Geschäftsführung sieht keinen Nutzen.	Der Erfolg wurde nicht messbar gemacht.	Vorher definieren: Zeitersparnis, Fehlerrate, Durchlaufzeit oder Qualität.

Die härtesten Hürden sind nicht nur technisch

Bitkom nennt für 2025 mehrere Bremsfaktoren, die gut erklären, warum viele Unternehmen zwar über KI sprechen, aber beim echten Einsatz zögern. Jeweils 53 Prozent nennen rechtliche Hürden und Unklarheiten sowie fehlendes technisches Know-how. 51 Prozent verweisen auf fehlende personelle Ressourcen. 48 Prozent beklagen hohe Datenschutzanforderungen. Dazu kommen Sorgen um Datenabfluss, mangelnde Nachvollziehbarkeit, schlechte Ergebnisqualität und fehlendes Budget.

Das ist kein einzelnes Problem. Es ist ein Bündel.

Für ein großes Unternehmen lässt sich so ein Bündel in Programme, Rollen und Budgets zerlegen. Ein KMU hat dafür oft weder eigene KI-Abteilung noch lange Projektlaufzeit. Dort sitzt die Person, die KI „mal ausprobieren“ soll, häufig ohnehin schon zwischen Tagesgeschäft, IT-Support, Kundenanfragen und Prozesschaos.

Deshalb scheitern KI-Projekte im Mittelstand oft nicht an fehlender Begeisterung. Sie scheitern an fehlender Kapazität.

Daten sind der stille Engpass

Viele KI-Diskussionen tun so, als gehe es nur um Modelle. Im Betrieb geht es mindestens genauso stark um Daten.

Ein Handelsunternehmen kann mit KI theoretisch Nachfrageprognosen verbessern. Praktisch liegen Verkaufsdaten im Warenwirtschaftssystem, Sonderaktionen in Excel, Lieferverzögerungen in E-Mails und regionale Besonderheiten im Kopf des Außendienstes. Ein Handwerksbetrieb kann theoretisch Einsatzberichte automatisch auswerten. Praktisch schreiben Monteure mal zwei Stichworte, mal drei Absätze, mal gar nichts.

KI braucht keine perfekten Daten, aber sie braucht brauchbare Signale. Wenn der Arbeitsalltag aus Medienbrüchen besteht, wird KI schnell zur Oberfläche über einem unaufgeräumten Keller.

Das heißt nicht, dass Unternehmen erst jahrelang Datenprojekte bauen müssen. Der Einstieg kann klein sein: ein Dokumenttyp, ein Postfach, ein Angebotsprozess, eine Fehlerklasse, eine Servicekategorie. Je enger der Ausschnitt, desto leichter lässt sich prüfen, ob KI wirklich hilft.

Akzeptanz entsteht nicht durch Schulung allein

Ein weiterer Fehler: KI wird als Effizienzprojekt eingeführt, aber als Misstrauenssignal verstanden.

Checkliste für KI-Einstieg in KMU mit Daten, Prozess und Verantwortung — Der erste sinnvolle KI-Anwendungsfall ist klein genug, um Wirkung und Risiken im Alltag zu messen.

Wenn Mitarbeitende hören, dass KI ihre Arbeit „automatisieren“ soll, denken viele nicht zuerst an Entlastung. Sie denken an Kontrolle, Stellenabbau oder zusätzliche Dokumentationspflichten. Bitkom nennt fehlende Akzeptanz der Beschäftigten als relevantes Hemmnis. Das überrascht nicht.

Akzeptanz entsteht, wenn Menschen sehen, dass ein Werkzeug eine lästige Aufgabe reduziert und sie die Kontrolle behalten. Ein Kundenservice-Team nimmt eine KI eher an, wenn sie E-Mails vorsortiert, Antwortentwürfe vorbereitet und Eskalationen markiert. Es wird skeptisch, wenn die KI plötzlich Kundenantworten verschickt, ohne dass klar ist, wer prüft, korrigiert und Verantwortung trägt.

Gerade im Mittelstand ist Vertrauen stark, weil Teams kleiner sind. Wenn der Meister, die Buchhaltung oder der Vertrieb das System nicht akzeptieren, hilft auch die beste technische Präsentation wenig.

Wo KI in KMU realistisch zuerst funktioniert

Nicht jeder Anwendungsfall eignet sich als Einstieg. Gute erste Projekte haben drei Eigenschaften: Sie sind häufig genug, um Wirkung zu zeigen; sie sind begrenzt genug, um Risiken zu kontrollieren; und sie lassen sich mit menschlicher Prüfung betreiben.

Geeignete Einstiege sind zum Beispiel:

Dokumente zusammenfassen: Angebote, Verträge, Serviceberichte oder Ausschreibungen vorstrukturieren.
Kundenanfragen vorsortieren: Dringlichkeit, Thema und zuständige Person erkennen.
Wissenssuche verbessern: interne Anleitungen, Wartungsdokumente oder FAQ schneller zugänglich machen.
Textarbeit entlasten: erste Entwürfe für E-Mails, Produkttexte, Stellenanzeigen oder Protokolle erzeugen.
Qualitätsprüfung unterstützen: auffällige Werte, fehlende Angaben oder wiederkehrende Fehler markieren.

Schlechter als Startpunkt sind dagegen Projekte, bei denen KI sofort eigenständig entscheiden, sensible Daten breit verarbeiten oder komplexe Unternehmenslogik ersetzen soll. Dort steigt der Abstimmungsaufwand schneller als der Nutzen.

Ein brauchbarer KI-Einstieg braucht keinen großen Masterplan

Viele Unternehmen verlieren Zeit, weil sie entweder zu groß oder zu beliebig starten. Die eine Seite baut monatelang eine KI-Strategie, ohne einen echten Prozess zu verändern. Die andere Seite lässt alle Mitarbeitenden beliebige Tools ausprobieren und wundert sich später über Datenschutzfragen, Schatten-IT und uneinheitliche Ergebnisse.

Der bessere Weg liegt dazwischen.

Ein pragmatischer Einstieg könnte so aussehen:

Ein Problem auswählen: Nicht „KI im Vertrieb“, sondern „eingehende Angebotsanfragen schneller klassifizieren“.
Messgröße festlegen: Zum Beispiel Durchlaufzeit, manuelle Bearbeitungszeit, Fehlerquote oder Rückfragen.
Daten begrenzen: Nur die Dokumente und Systeme einbeziehen, die für diesen Fall nötig sind.
Verantwortung klären: Fachbereich, IT, Datenschutz und Geschäftsführung müssen wissen, wer was entscheidet.
Vier Wochen testen: Mit echten Fällen, aber kontrolliertem Umfang.
Ergebnisse prüfen: Nicht nur fragen, ob die KI beeindruckt, sondern ob sie Arbeit im Prozess reduziert.
Erst dann ausweiten: Was stabil läuft, kann in angrenzende Aufgaben wachsen.

Das ist weniger spektakulär als ein großes Transformationsprogramm. Für viele KMU ist es aber realistischer.

Meine Einschätzung

Der Mittelstand braucht keine KI-Romantik. Er braucht eine nüchterne Betriebslogik.

Die Unternehmen, die mit KI weiterkommen, werden nicht zwangsläufig die mit dem teuersten Modell sein. Es werden eher diejenigen sein, die ihre alltäglichen Engpässe genau kennen: Wo gehen Informationen verloren? Welche Entscheidungen wiederholen sich? Welche Dokumente kosten Zeit? Welche Fachkraft beantwortet jede Woche dieselben Rückfragen?

KI kann dort spürbar helfen. Aber sie ersetzt nicht die unangenehme Vorarbeit: Prozesse beschreiben, Daten ordnen, Verantwortung vergeben, Fehlerfälle festlegen und Mitarbeitende einbeziehen.

Gerade kleine und mittlere Unternehmen haben dabei sogar einen Vorteil. Sie sind oft näher am Prozess als große Organisationen. Wenn Geschäftsführung, Fachbereich und IT an einem Tisch sitzen, kann ein guter Anwendungsfall schnell reifen. Aber nur, wenn KI nicht als Zauberwerkzeug behandelt wird, sondern als neues Werkzeug in einer bestehenden Werkstatt.

FAQ: KI in KMU

Müssen kleine Unternehmen sofort KI einsetzen?

Nein. Aber sie sollten prüfen, wo wiederkehrende Informationsarbeit Zeit kostet. Wer viele Angebote, E-Mails, Dokumente, Serviceberichte oder Datenlisten verarbeitet, findet oft einen sinnvollen Einstieg.

Was ist der häufigste Fehler beim Start?

Der Start mit einem Tool statt mit einem Problem. Ein KI-Projekt braucht zuerst einen konkreten Arbeitsablauf, eine Messgröße und eine verantwortliche Person.

Welche Rolle spielt Datenschutz?

Eine große. Unternehmen sollten vor dem Test klären, welche Daten verarbeitet werden dürfen, ob personenbezogene oder vertrauliche Informationen enthalten sind und welche Anbieter- oder Betriebsform geeignet ist.

Wie erkennt ein KMU, ob ein KI-Projekt Erfolg hat?

An einer vorher festgelegten Wirkung: weniger Bearbeitungszeit, weniger Fehler, schnellere Antwort, bessere Dokumentation oder geringerer Suchaufwand. Begeisterung in der Demo reicht nicht.