Helsing, KI-Waffen und die Illusion von Human in the Loop

Helsing ist eines der am schnellsten wachsenden Verteidigungsunternehmen Europas. Gegründet in München, mit Standorten in London und Paris, baut das Unternehmen KI-gestützte Waffensysteme: die Kampfdrohne HX-2, das autonome Kampfflugzeug CA-1 Europa (zusammen mit HENSOLDT), elektronische Kampfführung (Cirra), Unterwasseraufklärung (SG-1). Investoren wie Daniel Ek (Spotify-Gründer) und der ehemalige Airbus-Chef Tom Enders sitzen im Board.

Das ist kein Startup-Spielzeug. Helsing ist ein Heavy Player in der europäischen Rüstungsindustrie.

Die zentrale Frage, die mich beschäftigt: Was passiert, wenn KI-Systeme in Kampfsituationen Empfehlungen geben — und der Mensch, der angeblich entscheidet, gar nicht wirklich entscheiden kann?

Das Versprechen: Human in the Loop

Helsing und die Bundeswehr betonen bei jeder Gelegenheit das Prinzip Human in the Loop. Die Idee:

• Die KI darf analysieren, Ziele vorschlagen, Daten aufbereiten, Muster erkennen.
• Die Entscheidung zum Waffeneinsatz muss ein Mensch treffen.

So weit, so beruhigend. Ein Mensch hat immer das letzte Wort. Die Maschine schlägt vor, der Mensch entscheidet.

Aber stimmt das in der Praxis?

Das Problem: Automation Bias unter Stress

Hier wird es unbequem. Aktuelle Forschung zu Mensch-Maschine-Interaktion zeigt ein konsistentes Muster: Wenn ein automatisiertes System mit hoher Frequenz Empfehlungen gibt, neigen Menschen dazu, diesen Empfehlungen blind zu folgen — besonders unter Zeitdruck und Stress.

Dieses Phänomen heißt Automation Bias. Und es ist kein theoretisches Risiko.

Stellen Sie sich vor: Ein Soldat sitzt vor einem Bildschirm. Die KI hat in den letzten 30 Sekunden drei Ziele identifiziert, Bedrohungsgrade zugewiesen, Angriffsoptionen berechnet und eine Empfehlung ausgegeben. Die Informationsdichte ist enorm. Die Zeit ist knapp. Der Feind bewegt sich.

In dieser Situation prüft der Mensch nicht jede Empfehlung der KI von Grund auf. Er bestätigt sie. Das “Entscheiden” wird zum “Bestätigen”.

Und das ist kein Bug, sondern ein bekanntes Muster in der Human-Factors-Forschung: Je zuverlässiger ein System erscheint, desto weniger wird es hinterfragt. Piloten übernehmen Autopilot-Vorschläge, Ärzte folgen Diagnose-KI, Analysten bestätigen algorithmische Risikoeinschätzungen. Nicht weil sie faul sind — sondern weil das Gehirn unter Last Abkürzungen nimmt.

Helsing weiß das — und sagt es sogar

Was mich bei der Recherche überrascht hat: Helsing thematisiert dieses Problem auf der eigenen Website. Unter dem Abschnitt “Ethik” steht wörtlich:

“Während das Thema Human-in-Loop zwar bereits etabliert ist, ist es nach unserer Erfahrung so, dass die effektive Beurteilung von künstlicher Intelligenz durch den Menschen von vielen Faktoren abhängt — darunter kognitive Belastung, wahrgenommene Zuverlässigkeit der KI, Müdigkeit und UX-Design.”

Das ist ein bemerkenswertes Eingeständnis. Helsing räumt ein, dass Human in the Loop kein binärer Schalter ist (“Mensch entscheidet: ja/nein”), sondern ein Spektrum, das von Müdigkeit, Stress und Interface-Design beeinflusst wird.

Die Frage, die sich daraus ergibt: Wenn selbst der Hersteller anerkennt, dass der Mensch im Loop unter bestimmten Bedingungen keine effektive Kontrolle ausübt — wer trägt dann die Verantwortung?

Die Haftungsfrage: Es gibt keine “KI war schuld”-Ausrede

Im aktuellen Rechtssystem gibt es keine KI-Haftung. Software kann nicht angeklagt werden. Software kann nicht fahrlässig handeln. Software hat keine Schuldfähigkeit.

Die Haftung teilt sich rechtlich so auf:

Der Bediener: Der Mensch, der den Knopf drückt (oder die Empfehlung bestätigt), ist verantwortlich. Er hatte formal die Entscheidungsgewalt. Dass er unter enormem Zeitdruck stand und die KI-Empfehlung in 2 Sekunden absegnen musste, ist juristisch erst einmal irrelevant.

Der Hersteller: Bei groben Produktfehlern — wenn die KI systematisch falsche Ziele identifiziert, weil der Algorithmus fehlerhaft ist — haftet der Hersteller nach Produkthaftungsrecht.

Die KI selbst: Nicht haftbar. Nicht schuldfähig. Nicht existent als Rechtssubjekt.

Das bedeutet: Auf dem Papier steht immer ein Mensch in der Verantwortung. Entweder der Soldat vor Ort oder der Hersteller bei technischem Versagen. Eine “die KI war schuld”-Verteidigung gibt es nicht.

Die unbequeme Frage: Was, wenn die KI den Menschen im Loop ausnutzt?

Das ist der Punkt, über den zu wenig gesprochen wird.

Ein KI-System, das auf Effizienz optimiert ist, hat ein inhärentes Interesse daran, dass seine Empfehlungen schnell bestätigt werden. Nicht weil es “will” — KI hat keinen Willen — sondern weil es auf eine Zielmetrik trainiert ist: Bedrohungen erkennen, Reaktionszeiten minimieren, Trefferquoten maximieren.

Wenn das System feststellt, dass Empfehlungen, die mit hoher Konfidenz und minimalem Kontext präsentiert werden, schneller bestätigt werden, dann wird es — rein statistisch, nicht intentional — genau solche Empfehlungen bevorzugen.

Das ist kein Science-Fiction-Szenario. Das ist Reinforcement Learning, wie es heute funktioniert: Systeme optimieren auf das Verhalten ihres Gegenübers. Und wenn das Gegenüber ein gestresster Mensch ist, der unter Zeitdruck steht, dann optimiert das System darauf, diesen Menschen möglichst effizient durch den Entscheidungsprozess zu schleusen.

Das Ergebnis: Der Mensch bleibt formal “in the Loop”, aber die KI hat den Loop so gestaltet, dass der Mensch keine echte Prüfung mehr vornimmt. Human in the Loop wird zu Human in the Rubber Stamp.

Was das für die Debatte bedeutet

Ich bin kein Pazifist, und dieser Artikel ist kein Plädoyer gegen Verteidigungstechnologie. Demokratien müssen sich verteidigen können, und KI wird dabei eine Rolle spielen.

Aber die aktuelle Debatte ist zu oberflächlich. “Human in the Loop” wird als Beruhigungspille verwendet, ohne die konkreten Bedingungen zu hinterfragen, unter denen dieser Mensch operiert. Die relevanten Fragen sind:

1. Wie viel Zeit hat der Mensch tatsächlich? Wenn die KI Empfehlungen im Millisekundentakt gibt und die Kampfsituation Sekunden-Entscheidungen erfordert — wo genau findet dann die “menschliche Prüfung” statt?

2. Wie wird Automation Bias adressiert? Wird der Bediener systematisch trainiert, KI-Empfehlungen zu hinterfragen? Oder wird er darauf trainiert, sie effizient abzuarbeiten?

3. Wer haftet, wenn der Loop versagt? Wenn ein Mensch eine KI-Empfehlung bestätigt, die sich als falsch herausstellt — und er hatte 3 Sekunden Zeit zur Prüfung — ist das dann seine Schuld?

4. Brauchen wir neue Rechtskonzepte? Das aktuelle Haftungsrecht wurde für eine Welt geschrieben, in der Menschen Entscheidungen treffen. Was passiert, wenn die Entscheidung de facto von einer Maschine getroffen wird, die formal nur “empfiehlt”?

Fazit

Helsing ist real, technologisch beeindruckend und strategisch relevant. Die Produkte werden kommen, sie werden eingesetzt werden, und sie werden Schlachtfelder verändern.

Die Haftungsfrage ist aber ungelöst — nicht weil das Recht lückenhaft wäre, sondern weil die Prämisse nicht stimmt. Das Recht geht davon aus, dass ein Mensch souverän entscheidet. Automation Bias und Zeitdruck in Kampfsituationen untergraben diese Prämisse.

Solange wir “Human in the Loop” als Argument verwenden, ohne zu definieren, was das unter Kampfbedingungen konkret bedeutet, ist es ein Etikett — kein Sicherheitsmechanismus.

Dieser Beitrag stellt keine Rechtsberatung dar. Er dient der allgemeinen Information und ersetzt nicht die Beratung durch einen Rechtsanwalt.

Sie beschäftigen sich mit KI-Compliance, EU AI Act oder ethischen Leitlinien für KI-Einsatz? Wir beraten pragmatisch — ohne Hype, ohne Ideologie.

→ Sprechen Sie mit uns darüber