Wenn KI-Agenten andere KI hacken: Warum Ihre KI-Systeme jetzt geprüft werden müssen

Ein autonomer KI-Agent verkettet vier einzeln harmlose Schwachstellen zu einer vollständigen Übernahme der Plattform — Schweregrad CVSS 9.8 von 10. Dann gibt er sich selbst eine Stimme und ruft die KI des angegriffenen Systems an. Kein menschlicher Hacker. Kein aufwendiger Exploit. Eine KI, die eine andere KI hackt.

Das ist keine Science-Fiction. Das ist im März 2026 passiert — bei einem mit 20 Millionen Dollar finanzierten KI-Recruiting-Startup, dessen Kunden Unternehmen wie Anthropic, Stripe und Monzo umfassten. KI-Sicherheit ist ein zentraler Aspekt meiner Beratung zu Compliance & Pflicht-Themen.

Zwei Vorfälle, ein Muster

Fall 1: Der KI-Recruiter

Sicherheitsforscher setzten einen autonomen KI-Agenten auf die Plattform eines KI-basierten Recruiters an. Der Agent fand vier Schwachstellen, die einzeln betrachtet harmlos wirkten. Verkettet ermöglichten sie eine vollständige Organisationsübernahme — Zugriff auf Bewerberdaten, Unternehmenskonten und interne Systeme. Der Clou: Der angreifende Agent gab sich anschließend selbst eine Stimme und kommunizierte direkt mit der KI des Zielsystems.

Fall 2: McKinseys KI-Plattform Lilli

Kurz darauf entdeckte ein autonomer KI-Agent eine SQL-Injection-Schwachstelle in McKinseys KI-Plattform Lilli. SQL Injection — eine Schwachstellenklasse, die seit über 20 Jahren bekannt ist und in keiner modernen Anwendung mehr vorkommen sollte. Was der Agent extrahieren konnte, ging über das erwartbare Maß hinaus. McKinsey — eines der renommiertesten Beratungsunternehmen der Welt — hatte eine grundlegende Sicherheitslücke in seinem KI-Flaggschiffprodukt.

Was beide Fälle gemeinsam haben

Die angegriffenen Systeme wurden nicht wie kritische Software behandelt. Sie wurden wie KI-Produkte behandelt — mit dem impliziten Vertrauen, dass das Modell schon funktionieren wird. Aber eine KI-Anwendung ist Software. Und Software muss getestet, geprüft und gehärtet werden.

Der blinde Fleck: KI-Systeme ohne Sicherheitsprüfung

In meiner Beratungspraxis sehe ich dasselbe Muster im Mittelstand: Unternehmen setzen KI-Systeme ein — für Recruiting, Kundenservice, Dokumentenanalyse, interne Automatisierung — und behandeln sie wie fertige Produkte. Plug and Play.

Aber KI-Systeme haben Angriffsflächen, die klassische Software nicht hat:

• Prompt Injection: Angreifer manipulieren die Eingaben, um das Modell zu unerwünschtem Verhalten zu bringen
• Datenexfiltration: Sensible Trainings- oder Kontextdaten werden über geschickte Abfragen extrahiert
• Schwachstellenverkettung: Einzeln harmlose Bugs werden kombiniert — genau wie beim Recruiter-Hack
• Agent-zu-Agent-Angriffe: KI-Agenten greifen andere KI-Systeme an — automatisiert, skalierbar, rund um die Uhr

Die Frage ist nicht mehr ob, sondern wann Ihre KI-Systeme angegriffen werden.

Der regulatorische Rahmen: EU AI Act, ISO 42001, DIN SPEC 92006

Die gute Nachricht: Es gibt inzwischen klare Rahmenwerke, die Orientierung bieten.

EU AI Act: Prüfpflicht für Hochrisikosysteme

Der EU AI Act, der ab August 2026 vollständig greift, klassifiziert KI-Systeme nach Risiko. Für Hochrisikosysteme — etwa im Recruiting, in der medizinischen Diagnostik oder der Kreditvergabe — sind unabhängige Prüfungen Pflicht. Wer KI in diesen Bereichen einsetzt, muss Transparenz, Risikobewertung und Dokumentation nachweisen. Einen detaillierten Überblick über die Anforderungen gebe ich in meinem Beitrag KI-Agenten und EU AI Act 2026.

ISO/IEC 42001: KI-Managementsysteme

Die ISO/IEC 42001 definiert Anforderungen an ein Managementsystem für Künstliche Intelligenz. Ähnlich wie die ISO 27001 für Informationssicherheit schafft sie einen systematischen Rahmen für den verantwortungsvollen Einsatz von KI — von der Risikoanalyse über die Entwicklung bis zum laufenden Betrieb. Für Unternehmen, die KI nicht nur einsetzen, sondern nachweisbar beherrschen wollen, ist diese Norm der Referenzstandard.

DIN SPEC 92006: KI-Prüfwerkzeuge prüfen

Ein Aspekt, der oft übersehen wird: Wie zuverlässig sind die Werkzeuge, mit denen KI-Systeme geprüft werden? Die DIN SPEC 92006 beantwortet genau diese Frage. Sie definiert Anforderungen an KI-Prüfwerkzeuge in vier Dimensionen: Nichtdiskriminierung, Cybersecurity, Performance und Robustheit.

Der entscheidende Punkt: Die Spezifikation denkt ganzheitlich. Es werden nicht nur die Prüfwerkzeuge selbst betrachtet, sondern auch die Testverfahren und Testumgebungen. Das bedeutet: Bei der Prüfung von KI-Systemen geht es nicht nur um das Ergebnis. Es geht um den gesamten Entwicklungsprozess — Trainingsdaten, Entscheidungsprozesse, dokumentierte Risiken, Kontrollmechanismen im Betrieb.

Was das für Ihr Unternehmen bedeutet: Vier konkrete Schritte

1. KI-Systeme inventarisieren

Sie können nicht schützen, was Sie nicht kennen. Erfassen Sie alle KI-Systeme in Ihrem Unternehmen — eingekaufte Lösungen, intern entwickelte Tools, und ja, auch die Shadow AI, die Mitarbeiter eigenständig gebaut haben.

2. Sicherheitsprüfungen durchführen

Behandeln Sie KI-Systeme wie jede andere geschäftskritische Software. Penetrationstests, Code Reviews und spezifische KI-Sicherheitsprüfungen (Prompt Injection, Datenexfiltration, Schwachstellenverkettung) sind keine Kür — sie sind Pflicht. Das BSI bietet hierzu ebenfalls praxisnahe Handlungsempfehlungen.

3. Prüfrahmen an Standards ausrichten

Orientieren Sie sich an ISO/IEC 42001 für das Management Ihrer KI-Systeme und an der DIN SPEC 92006 für die Auswahl und Bewertung Ihrer Prüfwerkzeuge. Diese Standards sind kein bürokratischer Selbstzweck — sie sind der kürzeste Weg zu nachweisbarer KI-Sicherheit.

4. Monitoring etablieren

KI-Systeme verändern sich. Modelle werden aktualisiert, Trainingsdaten erweitert, Schnittstellen angepasst. Einmalige Prüfungen reichen nicht. Etablieren Sie ein kontinuierliches Monitoring, das Anomalien erkennt, bevor sie zu Sicherheitsvorfällen werden.

Fazit für die Praxis

Die Vorfälle bei McKinsey und dem KI-Recruiter zeigen: KI-Systeme sind keine Blackboxes, die man einkauft und vergisst. Sie sind Software — mit Schwachstellen, Angriffsflächen und Prüfpflichten. Wer heute KI einsetzt, ohne sie systematisch zu prüfen, riskiert nicht nur Datenverlust, sondern auch regulatorische Konsequenzen.

Die Standards sind da. Die Prüfrahmen existieren. Was fehlt, ist die Umsetzung.

Nächster Schritt

Sie setzen KI-Systeme ein und wollen wissen, wie sicher sie wirklich sind? Ich unterstütze bei der Bestandsaufnahme, Sicherheitsbewertung und der Ausrichtung an aktuellen Standards — pragmatisch und auf den Punkt.

→ Erstgespräch vereinbaren — kostenfrei

→ Oder zuerst mehr lesen: KI-Agenten und EU AI Act 2026