Automatisieren oder unterstützen: Wer am Ende die Kontrolle behält

Der europäische Gesetzgeber verlangt für Hochrisiko-Systeme einen Knopf. Artikel 14 des KI-Gesetzes schreibt vor, dass eine Person in den Betrieb eingreifen oder das System anhalten können muss, und zwar nicht als Theorie, sondern über eine Vorrichtung, die tatsächlich existiert. Bemerkenswerter ist der Absatz davor. Dieselbe Person soll sich ihrer eigenen Neigung bewusst bleiben, dem Ergebnis der Maschine automatisch oder übermäßig zu vertrauen.

Brüssel traut also nicht der Maschine allein. Brüssel traut auch dem Menschen davor nicht ganz. Das ist, bei allem, was man an dieser Verordnung berechtigt kritisieren kann, eine ziemlich präzise Beschreibung des eigentlichen Problems.

Kann sie es, oder darf sie es allein?

Wer einen Vorgang aus der Diagnose des ersten Serienteils vor sich liegen hat, steht vor zwei Fragen, die im Gespräch fast immer zu einer einzigen verschmelzen. Die erste lautet: Kann eine Maschine das? Die zweite: Soll sie es allein tun dürfen?

Die erste Frage beantwortet die Technik, und sie beantwortet sie inzwischen erstaunlich oft mit ja. Die zweite beantwortet niemand außer dem Haus, das die Folgen trägt. Sie ist die zweite von vier Weichen, die der Serienrahmen beschreibt, und die einzige, bei der eine falsche Antwort nach außen sichtbar wird.

Ob KI eine Aufgabe erledigen kann, ist eine technische Auskunft. Ob sie es allein tun darf, ist eine Entscheidung, für die jemand seinen Namen hergibt.

Die Falle, vor der Brynjolfsson warnt

Erik Brynjolfsson, Ökonom in Stanford, hat 2022 in The Turing Trap beschrieben, warum diese Verwechslung so hartnäckig bleibt. Seit Turing gilt als Maßstab des Fortschritts, wie gut eine Maschine einen Menschen nachahmt. Genau diese Zielsetzung, argumentiert Brynjolfsson, führt in die Irre: Systeme, die Menschen ersetzen, verteilen Einkommen und Verhandlungsmacht um, ohne zwingend mehr Wert zu schaffen. Systeme, die Menschen erweitern, schaffen häufig mehr, bekommen aber weniger Aufmerksamkeit und weniger Kapital.

Seine Diagnose ist nicht technikfeindlich. Sie ist eine Aussage über Anreize. Nachahmung lässt sich vorführen; Erweiterung muss man erklären.

In der Praxis merkt man den Unterschied an einer Kleinigkeit. Ein Ersatzsystem führt man vor, indem man es allein laufen lässt. Ein Erweiterungssystem führt man vor, indem man zeigt, wie schnell ein guter Mitarbeiter damit fertig wird.

Automatisieren, wenn das Ergebnis eindeutig prüfbar ist

Die Grenze verläuft nicht zwischen einfachen und schwierigen Aufgaben. Sie verläuft dort, wo sich sagen lässt, ob das Ergebnis richtig ist.

Ein Medienspiegel, der Treffer nach festen Kriterien sammelt und sortiert, ist prüfbar: entweder der Beitrag gehört dazu oder nicht, und wer nachsehen will, sieht in zwei Minuten nach. Ein Bericht, der Zahlen aus drei Systemen zusammenzieht, ist prüfbar, weil die Quellen danebenliegen, sobald etwas nicht stimmt. Eine Terminabstimmung, das Umwandeln von Dateiformaten, die Übertragung eines Interviews in Text: alles Vorgänge mit einem Ergebnis, das entweder stimmt oder auffällt.

Für solche Fälle ist der Mensch in der Schleife keine Sicherheit, sondern eine Bremse. Wer jede automatisch erzeugte Zeile gegenliest, hat den Vorgang nicht automatisiert, sondern verdoppelt.

Unterstützen, wenn jemand urteilen muss

Sobald ein Vorgang eine Wirkung auf einen Menschen hat, die sich nicht am Text ablesen lässt, ändert sich die Lage. Ob eine Formulierung in einer Krisenmeldung beruhigt oder als Ausrede gelesen wird, steht nicht im Satz; es steht in der Beziehung zwischen Absender und Empfänger. Ob ein Absagebrief an einen Bewerber fair klingt, hängt davon ab, was drei Sätze vorher versprochen wurde.

Hier arbeitet die Maschine zu, und zwar gern ausgiebig: Entwürfe, Varianten, Gegenargumente, ein erster Aufbau. Die Freigabe bleibt bei einem Menschen, der dafür geradesteht, und sie muss dokumentiert sein. Genau an dieser Stelle scheitern die meisten KI-Vorhaben, nicht an fehlenden Daten: Niemand hat festgelegt, wann ein Entwurf gut genug ist und wer das entscheiden darf. Warum diese Dokumentation über das Vertrauen im Haus entscheidet, steht in KI-Governance: Warum Integration über Vertrauen entscheidet.

Die schwächste Stelle im Ablauf ist selten das Modell. Sie ist die Frage, wer den Entwurf gegen eine vorher gesetzte Grenze hält, bevor er das Haus verlässt.

Die Faustregel, die in eine Zeile passt

Für den Alltag genügt eine Frage: Lässt sich in unter fünf Minuten und ohne Fachdiskussion feststellen, ob das Ergebnis falsch ist?

Lautet die Antwort ja, darf der Vorgang automatisch laufen, mit Stichproben statt Vollkontrolle. Lautet sie nein, bleibt er unterstützt, egal wie überzeugend die Maschine wirkt. Und wenn die Antwort lautet, das komme darauf an, dann bleibt er unterstützt, bis jemand die Kriterien aufgeschrieben hat.

Die Regel ist grob. Ihr Vorteil: Sie lässt sich auch um halb sieben abends anwenden, wenn eine Freigabe drängt und keiner mehr Lust auf ein Grundsatzgespräch hat.

Der Knopf, den niemand drückt

Zurück zu Artikel 14. Der Gesetzgeber verlangt nicht nur die Möglichkeit einzugreifen, sondern auch, dass die aufsichtsführende Person die Grenzen des Systems versteht, sein Ergebnis richtig deutet und den Mut behält, es zu übergehen. Eine hohe Anforderung an eine Rolle, die in vielen Häusern nebenbei erledigt wird.

Ein Aufsichtsrecht, das niemand ausübt, ist kein Aufsichtsrecht. Es ist eine Zeile im Protokoll.

Wer Kontrolle behalten will, muss sie jemandem ausdrücklich geben: eine benannte Person, ein festgelegter Zeitpunkt im Ablauf, die Erlaubnis, Nein zu sagen, ohne sich dafür rechtfertigen zu müssen. Sonst wandert die Entscheidung stillschweigend zur Maschine, ohne dass jemand sie ihr je übertragen hätte.

Was passiert, wenn man die Reihenfolge vertauscht

Beide Fehler kosten, nur unterschiedlich sichtbar. Wird ein urteilsabhängiger Vorgang automatisiert, entsteht der Schaden außen: eine Formulierung, die niemand geprüft hat, ein Kunde, der sich abgefertigt fühlt. Wird ein prüfbarer Vorgang künstlich unterstützt, entsteht der Schaden innen. Alle Beteiligten haben mehr Arbeit als vorher, und niemand traut sich zu sagen, dass das neue Werkzeug den Aufwand erhöht hat.

Der zweite Fall ist der häufigere und der teurere, weil er sich so gut verstecken lässt. Ein Hinweis darauf steckt in einer Gartner-Erhebung unter 204 Finanzverantwortlichen vom März 2026, über die der CPA Practice Advisor berichtete: 45 Prozent der KI-Investitionen im Finanzbereich zielen auf Produktivität, nur 20 Prozent auf bessere Entscheidungen. Gartners Einwand dazu ist nüchtern: Sobald eine Aufgabe schneller läuft, ist der Gewinn ausgereizt, solange sich an der Entscheidung dahinter nichts ändert. Dieselbe Beobachtung aus anderer Richtung beschreibt KI Entscheidungsqualität: Warum schneller nicht besser ist.

Ich habe diesen Fehler selbst gemacht. Im Redaktionssystem lief die automatische Bewertung von Texten anfangs im selben Arbeitsschritt wie die Überarbeitung. Sah bequem aus. Führte dazu, dass die Bewertung sich auf ihren eigenen Text bezog und sich selbst freundlich bescheinigte, wie gut sie sei. Erst als beides getrennt lief, war die Zahl überhaupt etwas wert. Prüfen und Produzieren gehören auseinander; das gilt für Maschinen wie für Redaktionen.

Wer beides in einen Schritt legt, bekommt kein Urteil, sondern ein Echo.

Damit steht die nächste Frage schon im Raum. Wenn feststeht, welche Vorgänge automatisch laufen dürfen, bleibt zu klären, womit; und ob ein Standardprodukt reicht, wenn Ihr Wettbewerber dasselbe abonniert hat. Darum geht es im dritten Teil.