Unsichere KI-Agenten: Unternehmensrisiko – 7 Sofortmaßnahmen

Autonome Assistenten schreiben Mails, buchen Termine und starten Workflows – oft schneller als jeder Mensch. Doch genau hier entsteht leise ein neues Risiko: Unsichere KI-Agenten handeln selbstständig, greifen auf Tools zu und lesen externe Quellen. Ein manipulierter Link oder ein vergiftetes Dokument genügt, und Regeln geraten ins Wanken. Dieser Artikel sortiert das Thema, zeigt greifbare Schutzschritte und liefert einen Plan, der heute startet und morgen hält.

Agenten verbinden Sprache mit Aktion: Sie lesen Websites, öffnen Dateien, rufen APIs und Plugins auf. Damit wird jede externe Quelle zu einem möglichen Einfallstor. Leitfäden warnen vor direkter und indirekter Prompt-Injection. Direkt heißt: Eine Eingabe überstimmt Regeln. Indirekt heißt: Schädliche Anweisungen stecken in Dokumenten, Webseiten oder Datenbanken und werden unbemerkt ausgeführt, sobald der Agent sie lädt.

“Reduzieren statt illusionärem Vollschutz: Trennen, begrenzen, prüfen – und kritische Aktionen bestätigen lassen.”

Besonders heikel wird es, wenn Agenten mit echten Berechtigungen handeln: E-Mail senden, Dateien verschieben, Tickets anlegen oder Code ausführen. Ohne strikte Trennung von Rechten und ohne Output-Prüfung kann ein Agent Daten abziehen oder ungewollte Befehle ausführen. Sicherheitsbehörden empfehlen deshalb klare Schranken: geringste nötige Rechte, Kennzeichnung von unsicheren Inhalten, Validierung von Ausgaben und menschliche Freigaben für heikle Schritte.

Die Praxis zeigt zudem: Ketten aus mehreren Tools erhöhen das Risiko, weil ein vergifteter Zwischenschritt die ganze Kette manipulieren kann. Unternehmen sollten deshalb Agenten nicht „allmächtig“ machen. Der sichere Weg: Privilegien eng fassen, Zugriff protokollieren, externe Inhalte markieren und alles, was Schaden anrichten könnte, durch einen Menschen freigeben.

Überblick der typischen Fallen und Gegenmittel:

Starten Sie mit einem schnellen Stabilisierungsplan. Erstens: Inventur. Listen Sie alle Agenten, genutzten Modelle, Datenquellen und Plugins. Zweitens: Rechte kürzen. Vergeben Sie nur die nötigsten Berechtigungen und trennen Sie Konten nach Aufgaben. Drittens: Eingänge und Ausgänge prüfen. Filtern Sie Eingaben, markieren Sie externe Inhalte als unsicher und validieren Sie Ausgaben gegen klare Schemata.

Viertens: Freigaben für riskante Aktionen. E-Mail-Versand, Massendownloads oder Datei-Uploads brauchen eine menschliche Bestätigung. Fünftens: Token sicher halten. Hinterlegen Sie Zugangsdaten in einem Vault oder Broker, nicht im Prompt. Sechstens: Logging aktivieren. Protokollieren Sie Tool-Aufrufe, Entscheidungen und Datenflüsse, damit Vorfälle nachvollziehbar sind. Siebtens: Mini-Übung. Führen Sie einen 60-Minuten-Drill zur Prompt-Injection durch und halten Sie die Erkenntnisse fest.

Diese Schritte kosten wenig, bringen aber sofort Kontrolle in chaotische Setups. Behörden und Projekte wie OWASP raten genau zu diesem Mix: Trennen, beschränken, prüfen und heikle Aktionen absichern. Der nächste Schritt ist dann die technische Härtung Ihres Stacks – dauerhaft und messbar.

Dauerhafte Sicherheit entsteht in der Architektur. Setzen Sie einen sicheren Broker zwischen Modell und Tools. So laufen API-Aufrufe über eine kontrollierte Schicht, die Regeln durchsetzt, Rate-Limits erzwingt und Ausgaben prüft. Tokens bleiben im Backend, niemals im Prompt. Das verringert das Risiko von Datenabfluss durch clevere Eingaben.

Nutzen Sie Sandboxes für alles, was ausführen, schreiben oder versenden kann. Eine Sandbox begrenzt Schäden, wenn ein Agent fehlgeleitet wird. Validieren Sie Ausgaben deterministisch: Lassen Sie den Agenten strukturierte Antworten liefern und prüfen Sie diese mit Parsern. Weichen Sie nur in begründeten Fällen davon ab, und loggen Sie die Entscheidung.

Bei der Anbindung externer Inhalte gilt: Kennzeichnen Sie untrusted Daten strikt und trennen Sie sie im Prompt. Setzen Sie Content-Filter vor das Einbinden, und prüfen Sie Quellenqualität. Beobachten Sie zudem die Kette: Wenn mehrere Tools zusammenspielen, kann ein vergifteter Schritt die gesamte Aktion kippen. Einfache Gegenmittel sind Whitelists für Plugins, Signaturprüfungen und Supplier-Checks vor dem Einsatz.

Für Detection hilft ein Blick in MITRE ATLAS: Mapen Sie typische Taktiken wie Prompt-Injection oder Supply-Chain-Manipulation auf Ihre Use-Cases. Ergänzen Sie Warnmeldungen in SIEM/EDR für ungewöhnliche Serien von Tool-Aufrufen, plötzliche Rechteausweitung oder untypische Datenflüsse. Es geht nicht um Perfektion, sondern um verlässliche Netze mit klaren Knoten.

Sicherheit braucht klare Zuständigkeiten. Legen Sie fest, wer den Einsatz von Agenten freigibt, wer Vorfälle übernimmt und wie gemeldet wird. Nutzen Sie die Checklisten des CISA-JCDC-Playbooks für das Melden und Teilen von Informationen. So wächst Erfahrung im Team, und Partner können schneller helfen. Vereinbaren Sie verbindliche Prozesse für Disclosure und TLP-Markierung.

Messbar wird es mit wenigen, klugen Kennzahlen: Anzahl erkannter Prompt-Injection-Versuche pro Monat, Zeit bis zur Eindämmung, Anteil der Agenten mit aktivem Least-Privilege. Dokumentieren Sie Änderungen an Prompts, Policies und Tool-Zugriffen. Schulen Sie Produktteams und Fachbereiche regelmäßig – kurz, konkret, mit Beispielen aus den eigenen Workflows.

Vergessen Sie die Lieferkette nicht. Prüfen Sie Plugins und Abhängigkeiten, verlangen Sie SBOMs, und führen Sie Supplier-Checks durch, bevor Sie integrieren. Einmal pro Quartal sollte ein Red-Team die Agenten testen – inklusive indirekter Injektionen über Dokumente oder Webseiten. Diese Übungen zeigen Lücken, bevor Angreifer sie finden, und sie schärfen den Blick für Nebenwirkungen.

Viele Leitfäden betonen: Rest-Risiko bleibt. Das ist kein Makel, sondern Realität. Wer strukturiert vorgeht, reduziert die Angriffsfläche, verkürzt Reaktionszeiten und verhindert teure Ketteneffekte. Genau das zählt im Alltag.

KI-Agenten beschleunigen Arbeit, öffnen aber neue Türen für Angriffe. Der Mix aus Prompt-Injection, Tool-Missbrauch und Lieferkettenrisiken verlangt klare Grenzen und gute Hygiene. Mit Inventur, Least-Privilege, Filtern, Validierung, Sandboxing und menschlichen Freigaben senken Sie das Risiko deutlich. Ergänzen Sie das durch Governance, Metriken und Übungen – dann wird aus Tempo kein Blindflug.