Eine menschliche Unterschrift genügt nicht: Was wirksame KI-Kontrolle wirklich bedeutet

Ein Algorithmus gibt die Richtung vor.

Ein Mensch klickt auf „Bestätigen“.

Und plötzlich gilt die Entscheidung als menschlich.

Doch eine Unterschrift macht aus einer maschinell vorbereiteten Entscheidung noch keine eigenständige menschliche Prüfung. Ein Mensch kann formal beteiligt sein und trotzdem weder die Informationen noch die Zeit oder die Befugnis besitzen, das Ergebnis wirklich zu kontrollieren.

Genau hier beginnt eine der zentralen Menschenrechtsfragen des KI-Zeitalters:

Wann entscheidet tatsächlich ein Mensch – und wann legitimiert er nur, was ein System längst vorgegeben hat?

Das Wichtigste in Kürze

Wirksame menschliche KI-Kontrolle liegt nicht schon dann vor, wenn irgendwo im Verfahren ein Mensch erscheint.

Sie verlangt mindestens:

• ausreichende Informationen,
• fachliche Kompetenz,
• genügend Prüfungszeit,
• tatsächliche Entscheidungsfreiheit,
• die Befugnis zum Widerspruch,
• die Möglichkeit zur Korrektur oder Abschaltung,
• eine nachvollziehbare Dokumentation,
• klare institutionelle Verantwortung,
• und einen wirksamen Weg für Betroffene, die Entscheidung anzufechten.

Fehlen diese Voraussetzungen, kann „Human Oversight“ zur Fassade werden.

Der Mensch bleibt sichtbar.

Seine Entscheidungsmacht verschwindet.

Eine Situation, die überall geschehen könnte

Stellen wir uns eine Mitarbeiterin vor, die über einen Antrag entscheiden soll.

Auf ihrem Bildschirm erscheint eine Risikobewertung.

Rot. Hohes Risiko. Empfehlung: Ablehnung.

Daneben stehen mehrere Kennzahlen, Abkürzungen und ein automatisch erzeugter Begründungstext. Wie die Bewertung im Einzelnen zustande kam, ist nicht erkennbar. Für die gesamte Prüfung sind sechs Minuten vorgesehen. Weitere 40 Fälle warten.

Intern gilt das System als zuverlässig.

Wer von seiner Empfehlung abweicht, muss eine ausführliche Begründung verfassen. Wer ihr folgt, braucht nur einen Klick.

Die Mitarbeiterin bestätigt das Ergebnis.

Am Ende trägt das Schreiben ihren Namen.

War das eine menschliche Entscheidung?

Formal möglicherweise.

Inhaltlich vielleicht nicht.

Denn wo Zeit, Wissen, Unabhängigkeit und Widerspruchsmacht fehlen, wird der Mensch nicht zum Entscheider.

Er wird zum Legitimationspunkt eines automatisierten Prozesses.

Human Oversight ist mehr als menschliche Anwesenheit

Der Begriff Human Oversight wird meist mit „menschlicher Aufsicht“ übersetzt.

Das klingt beruhigend.

Ein Mensch passt auf.
Ein Mensch prüft.
Ein Mensch entscheidet am Ende.

Doch die bloße Anwesenheit eines Menschen beweist keine wirksame Kontrolle.

Es genügt nicht, dass jemand:

• einen Bildschirm betrachtet,
• eine Risikobewertung zur Kenntnis nimmt,
• einen vorgegebenen Text freigibt,
• ein Kästchen anklickt,
• oder seinen Namen unter ein Dokument setzt.

Artikel 14 des EU AI Act verlangt für Hochrisiko-KI eine menschliche Aufsicht, die Risiken für Gesundheit, Sicherheit und Grundrechte tatsächlich verhindern oder minimieren kann. Aufsichtspersonen sollen unter anderem die Fähigkeiten und Grenzen eines Systems verstehen, Ergebnisse richtig interpretieren, ein übermäßiges Vertrauen vermeiden, Ausgaben ignorieren oder umkehren und erforderlichenfalls in den Betrieb eingreifen können. mehr als eine Unterschrift.

Es ist praktische Handlungsfähigkeit.

Fünf unverzichtbare Kontrollbefugnisse

Eine Aufsichtsperson muss in der Lage sein:

1. zu verstehen, was das System leisten kann und wo seine Grenzen liegen,
2. zu erkennen, wann ein Ergebnis fehlerhaft oder unplausibel sein könnte,
3. zu widersprechen, ohne institutionelle Nachteile befürchten zu müssen,
4. zu übersteuern, also ein Ergebnis zu verwerfen oder umzukehren,
5. zu stoppen, wenn Risiken nicht mehr beherrschbar sind.

Wer diese Möglichkeiten nicht besitzt, kontrolliert die KI nicht.

Er beobachtet möglicherweise nur, wie sie entscheidet.

Warum diese Frage im Jahr 2026 besonders dringlich ist

Am 2. August 2026 treten neue Transparenzpflichten des AI Act in Kraft. Sie betreffen unter anderem die Erkennbarkeit bestimmter Interaktionen mit KI sowie die Kennzeichnung bestimmter KI-generierter oder manipulierter Inhalte. ssenden Anforderungen für bestimmte Hochrisiko-KI-Systeme greifen dagegen nach der neuen EU-Zeitplanung später: für eigenständige Hochrisiko-Systeme ab dem 2. Dezember 2027 und für in regulierte Produkte eingebettete Systeme ab dem 2. August 2028. tsteht eine Übergangsphase.

KI-Systeme können bereits heute Bewerbungen vorsortieren, Risiken bewerten, Fälle priorisieren, Dokumente analysieren oder Entscheidungsvorschläge erstellen. Gleichzeitig befinden sich spezifische Schutzmechanismen teilweise noch im Aufbau.

Die Verschiebung der AI-Act-Fristen bedeutet allerdings keinen rechtsfreien Raum.

Die Datenschutz-Grundverordnung, Diskriminierungsverbote, Verfahrensrecht, die EU-Grundrechtecharta und weitere Schutzvorschriften können unabhängig vom AI Act gelten.

Grundrechte beginnen nicht erst an einem zukünftigen Stichtag.

Automatisierungsbias: Wenn Technik glaubwürdiger wirkt als der Mensch

Eine Zahl wirkt präzise.

Ein Score wirkt objektiv.

Eine rote Warnmeldung wirkt eindeutig.

Eine automatisch erzeugte Begründung wirkt geprüft.

Doch Präzision ist nicht dasselbe wie Wahrheit.

Automatisierungsbias bezeichnet die Neigung, automatisierten Empfehlungen oder Ergebnissen zu stark zu vertrauen. Menschen können dadurch Warnzeichen übersehen, eigene Zweifel zurückstellen oder fehlerhafte Systemausgaben übernehmen.

Eine aktuelle wissenschaftliche Übersichtsarbeit beschreibt Automatisierungsbias als ein zentrales Problem der Zusammenarbeit zwischen Menschen und KI – besonders in sensiblen Bereichen wie Medizin, Recht und öffentlicher Verwaltung. NIST-Rahmenwerk für generative KI nennt Automatisierungsbias und übermäßiges Vertrauen als Risiken problematischer Mensch-KI-Konfigurationen. wird besonders stark, wenn mehrere Bedingungen zusammentreffen:

• hoher Zeitdruck,
• große Fallzahlen,
• unverständliche Modelle,
• scheinbar präzise Wahrscheinlichkeitswerte,
• institutionelles Vertrauen in technische Systeme,
• fehlende Alternativinformationen,
• Angst vor persönlicher Verantwortung,
• oder ein Arbeitsumfeld, das Abweichungen erschwert.

Dann geschieht etwas Paradoxes:

Der Mensch soll die Maschine kontrollieren.

Die Organisation bringt ihn aber dazu, ihr möglichst widerspruchslos zu folgen.

Wenn Zustimmung leichter ist als Widerspruch

Besonders problematisch sind asymmetrische Verfahren.

Wer der KI-Empfehlung folgt, klickt einmal.

Wer abweicht, muss:

• zusätzliche Felder ausfüllen,
• Vorgesetzte informieren,
• eine ausführliche Begründung verfassen,
• mehr Verantwortung übernehmen,
• oder mit Rückfragen rechnen.

Formal bleibt die Entscheidung frei.

Praktisch wird Zustimmung belohnt und Widerspruch belastet.

Die Benutzeroberfläche, die Zeitvorgabe und die interne Arbeitsorganisation beeinflussen dann stärker als jede abstrakte Dienstanweisung, ob eine echte Kontrolle stattfindet.

Menschliche Entscheidungsfreiheit kann nicht allein auf dem Papier bestehen. Sie muss im Arbeitsablauf möglich sein.

Die menschliche Unterschrift als Verantwortungsfalle

Eine Unterschrift soll gewöhnlich zweierlei zeigen:

Ein Mensch hat geprüft.

Und ein Mensch übernimmt Verantwortung.

In KI-gestützten Verfahren kann genau daraus eine Verantwortungsfalle entstehen.

Der Anbieter erklärt:

Das System entscheidet nicht. Es liefert lediglich eine Empfehlung.

Die einsetzende Institution erklärt:

Unsere Beschäftigten entscheiden eigenverantwortlich.

Die beschäftigte Person erklärt:

Die Bewertung und die wesentlichen Kriterien stammen aus dem System.

Der externe Dienstleister erklärt:

Für die konkrete Nutzung ist ausschließlich der Auftraggeber verantwortlich.

Am Ende bleibt ein betroffener Mensch zurück, der nicht erkennen kann:

• wer die entscheidenden Kriterien festgelegt hat,
• wer die Daten ausgewählt hat,
• wer das System beschafft oder freigegeben hat,
• wer die Schwellenwerte definierte,
• wer die Ausgabe tatsächlich prüfen konnte,
• wer eine Korrektur hätte veranlassen müssen,
• und wer den entstandenen Schaden verantwortet.

Das ist Verantwortungsdiffusion.

Verantwortung verschwindet nicht vollständig.

Sie wird nur so weit verteilt, dass sie praktisch kaum noch greifbar ist.

Ein Rechtsstaat darf keine Verantwortungsleere digitalisieren

Rechtsstaatliche Entscheidungen müssen zurechenbar bleiben.

Betroffene müssen grundsätzlich erkennen können:

• welche Stelle gehandelt hat,
• welche Tatsachen berücksichtigt wurden,
• welche Kriterien entscheidend waren,
• welcher menschliche Entscheidungsspielraum bestand,
• wer verantwortlich war,
• und wie eine Überprüfung erreicht werden kann.

Die DSGVO schützt Menschen unter bestimmten Voraussetzungen davor, einer ausschließlich automatisierten Entscheidung unterworfen zu werden, die rechtliche Wirkung entfaltet oder sie in vergleichbar erheblicher Weise beeinträchtigt. Das Verbot gilt nicht ausnahmslos; entscheidend sind der konkrete Automatisierungsgrad, die Wirkung und die jeweilige Rechtsgrundlage. päische Gerichtshof stellte im SCHUFA-Verfahren klar, dass auch ein automatisiert erzeugter Wahrscheinlichkeitswert als automatisierte Entscheidung relevant sein kann, wenn ein Dritter diesem Wert für seine Entscheidung eine maßgebliche Rolle beimisst. für Human Oversight entscheidend.

Ein Mensch kann formal den letzten Klick ausführen.

Wenn er dem Score in der Praxis regelmäßig folgt, kann die maschinelle Bewertung dennoch die maßgebliche Entscheidungsmacht besitzen.

Sieben Bedingungen wirksamer menschlicher KI-Kontrolle

1. Verstehen statt bloß ansehen

Die Aufsichtsperson muss die Funktion, die Datenbasis, bekannte Fehlerquellen und Grenzen des Systems verstehen.

Sie muss nicht jeden Programmcode lesen können.

Aber sie muss wissen:

• Was bewertet das System?
• Was bewertet es nicht?
• Welche Daten beeinflussen das Ergebnis?
• Wie sicher oder unsicher ist die Ausgabe?
• Bei welchen Gruppen oder Situationen steigt die Fehlergefahr?
• Welche Annahmen liegen dem Modell zugrunde?

Ohne dieses Wissen ist Kontrolle kaum mehr als Beobachtung.

2. Zeit statt Durchwinklogik

Wer innerhalb weniger Minuten komplexe Systemausgaben bestätigen soll, kann keine ernsthafte Prüfung durchführen.

Zeit ist deshalb keine nebensächliche Personalfrage.

Sie ist eine Voraussetzung wirksamer Kontrolle.

Ein Verfahren, das nur funktioniert, wenn Beschäftigte die überwiegende Zahl der Empfehlungen ungeprüft übernehmen, ist nicht menschenzentriert.

Es ist auf menschliche Bestätigung optimiert.

3. Kompetenz statt allgemeiner Technikschulung

Eine kurze Einführung in die Bedienung reicht nicht.

Aufsichtspersonen müssen verstehen:

• welche typischen Fehler auftreten,
• wie Unsicherheit dargestellt wird,
• wie Verzerrungen erkannt werden können,
• welche Folgen Fehlentscheidungen haben,
• und wann eine Eskalation erforderlich ist.

Die EU-Grundrechteagentur berichtete 2025, dass viele befragte Anbieter, Betreiber und Fachleute noch nicht ausreichend wussten, wie Grundrechtsrisiken von Hochrisiko-KI systematisch geprüft und gemindert werden können. utorität statt symbolischer Beteiligung

Die zuständige Person muss rechtlich und organisatorisch befugt sein, einer KI-Ausgabe zu widersprechen.

Sie muss ein Ergebnis:

• ignorieren,
• korrigieren,
• zurückstellen,
• erneut prüfen lassen,
• oder vollständig verwerfen können.

Der AI Act verlangt für Betreiber von Hochrisiko-Systemen eine kompetente menschliche Aufsicht und die Überwachung des Systembetriebs. ch ohne Entscheidungsmacht ist keine Kontrolleinrichtung.

Er ist ein Zeuge.

5. Unabhängigkeit statt Anpassungsdruck

Kontrolle scheitert, wenn Abweichungen von der KI-Empfehlung als ineffizient, störend oder verdächtig gelten.

Institutionen sollten deshalb prüfen:

• Werden Beschäftigte für Abweichungen kritisiert?
• Müssen nur Abweichungen begründet werden, nicht aber Zustimmungen?
• Fördern Leistungskennzahlen eine schnelle Bestätigung?
• Werden menschliche Fehler strenger bewertet als Systemfehler?
• Entsteht der Eindruck, die Technik könne grundsätzlich nicht irren?

Wo blindes Folgen belohnt wird, bleibt menschliche Aufsicht formal vorhanden und praktisch geschwächt.

6. Dokumentation statt nachträglicher Behauptung

Eine Institution sollte nicht nur behaupten, ein Mensch habe geprüft.

Sie sollte nachvollziehbar dokumentieren:

• wer die Prüfung vorgenommen hat,
• welche Informationen vorlagen,
• welche Unsicherheiten erkennbar waren,
• ob Alternativen geprüft wurden,
• ob vom System abgewichen wurde,
• und aus welchen Gründen die endgültige Entscheidung fiel.

Diese Dokumentation schützt nicht nur Betroffene.

Sie schützt auch Beschäftigte davor, später allein für strukturelle Mängel verantwortlich gemacht zu werden.

7. Anfechtbarkeit statt endgültiger Maschinenlogik

Menschliche Kontrolle endet nicht innerhalb der Organisation.

Auch Betroffene brauchen einen realen Weg zur Überprüfung.

Je nach Rechtsgebiet und Einzelfall können dazu gehören:

• Information über den Einsatz eines automatisierten Systems,
• eine verständliche Begründung,
• die Berichtigung fehlerhafter Daten,
• Zugang zu einer entscheidungsbefugten Person,
• eine neue, ergebnisoffene Prüfung,
• eine Beschwerdemöglichkeit,
• oder gerichtlicher Rechtsschutz.

Eine Entscheidung ist nicht fair, wenn sie intern freigegeben, aber extern nicht wirksam angefochten werden kann.

Der betroffene Mensch darf nicht zum Datenobjekt werden

Menschenwürde verlangt mehr als statistische Korrektheit.

Ein Mensch ist nicht nur:

• ein Risikoprofil,
• ein Score,
• eine Trefferwahrscheinlichkeit,
• eine Ähnlichkeit zu früheren Fällen,
• oder eine Kombination messbarer Merkmale.

Jede Automatisierung reduziert Komplexität.

Das kann nützlich sein. Systeme können große Datenmengen strukturieren, Muster erkennen und Beschäftigte unterstützen.

Doch die Reduktion wird gefährlich, wenn die maschinelle Sicht auf einen Menschen zur allein maßgeblichen Wirklichkeit wird.

Eine unterbrochene Erwerbsbiografie kann als Risiko erscheinen.

Armut kann als Unzuverlässigkeit gelesen werden.

Sprachliche Unsicherheit kann wie mangelnde Glaubwürdigkeit wirken.

Eine seltene Erkrankung kann außerhalb statistischer Normalwerte liegen.

Ein ungewöhnlicher Lebensweg kann als fehlende Eignung bewertet werden.

Menschliche Kontrolle muss deshalb mehr leisten, als einen Score zu bestätigen.

Sie muss den konkreten Menschen wieder in das Verfahren zurückholen.

Gute KI-Kontrolle beginnt vor der Entscheidung

Human Oversight darf nicht erst in dem Moment beginnen, in dem eine Systemausgabe auf dem Bildschirm erscheint.

Wirksame Kontrolle umfasst den gesamten Lebenszyklus.

Vor der Einführung

• Ist KI für diese Aufgabe überhaupt geeignet?
• Welche Grundrechte können betroffen sein?
• Gibt es weniger eingriffsintensive Alternativen?
• Welche Gruppen könnten besonders benachteiligt werden?
• Ist eine ernsthafte menschliche Prüfung organisatorisch möglich?
• Wer übernimmt welche Verantwortung?

Während des Einsatzes

• Werden Fehler und Abweichungen systematisch erfasst?
• Können Beschäftigte problematische Ergebnisse unkompliziert melden?
• Werden bestimmte Personengruppen auffällig häufig negativ bewertet?
• Haben Prüfer genügend Zeit und Informationen?
• Funktionieren Stopp-, Korrektur- und Eskalationswege?

Nach der Entscheidung

• Können Betroffene eine neue Prüfung verlangen?
• Werden Beschwerden ausgewertet?
• Fließen erkannte Fehler in die Systemkontrolle zurück?
• Wird der Einsatz bei strukturellen Problemen ausgesetzt?
• Bleibt erkennbar, wer die Entscheidung verantwortet?

Human Oversight ist deshalb nicht nur eine Person.

Es ist eine Verantwortungsarchitektur.

Zehn Prüffragen für Behörden und Unternehmen

Wer KI-gestützte Entscheidungen einsetzt, sollte zehn Fragen eindeutig beantworten können:

1. Welche konkrete Rolle spielt das KI-System?
2. Welche Folgen kann seine Ausgabe für Menschen haben?
3. Wer besitzt die notwendige fachliche Kompetenz?
4. Wie viel Zeit steht für die Prüfung zur Verfügung?
5. Welche Informationen erhält die prüfende Person?
6. Kann sie das Ergebnis tatsächlich ignorieren oder umkehren?
7. Entstehen Nachteile, wenn sie vom System abweicht?
8. Wie wird ihre eigenständige Abwägung dokumentiert?
9. Wie erfahren Betroffene vom KI-Einsatz?
10. Wer untersucht Beschwerden und wiederkehrende Fehlermuster?

Bleiben diese Fragen unbeantwortet, ist der Satz „Ein Mensch entscheidet am Ende“ kein Schutzkonzept.

Er ist eine Behauptung.

Fragen, die Betroffene stellen können

Wer vermutet, dass eine Entscheidung algorithmisch vorbereitet oder beeinflusst wurde, kann sachlich nachfragen:

• Wurde ein automatisiertes oder KI-gestütztes System eingesetzt?
• Welche Funktion hatte dieses System?
• Welche Daten flossen in die Bewertung ein?
• War die Ausgabe nur ein Hinweis oder praktisch ausschlaggebend?
• Welche Person prüfte die Entscheidung eigenständig?
• Welche Informationen standen dieser Person zur Verfügung?
• Welche Befugnis hatte sie, vom System abzuweichen?
• Welche Gründe führten zur endgültigen Entscheidung?
• Wie kann eine erneute menschliche Prüfung veranlasst werden?

Welche konkreten Ansprüche bestehen, hängt vom jeweiligen Sachverhalt und vom anwendbaren Recht ab.

Dieser Beitrag ersetzt keine Rechtsberatung.

Doch Transparenz beginnt häufig mit einer präzisen Frage.

Menschliche Kontrolle muss menschlich möglich sein

Es wäre falsch, die gesamte Verantwortung auf einzelne Beschäftigte abzuwälzen.

Ein Mensch kann keine Grundrechte schützen, wenn:

• die Organisation keine Zeit einräumt,
• das System keine verständlichen Informationen liefert,
• Abweichungen unerwünscht sind,
• Zuständigkeiten unklar bleiben,
• oder Beschwerden folgenlos bleiben.

Human Oversight darf nicht zum letzten Auffangnetz einer fehlerhaften Organisation werden.

Ein Mensch kann strukturelle Mängel nicht wegklicken.

Und er darf nicht als haftende Endstation dienen, während Anbieter, Leitungsebenen und technische Verantwortliche im Hintergrund verschwinden.

Die entscheidende Frage lautet nicht: War ein Mensch beteiligt?

Die entscheidende Frage lautet:

Konnte dieser Mensch frei, informiert, kompetent und wirksam entscheiden?

Konnte er widersprechen?

Konnte er das Ergebnis verändern?

Konnte er das System stoppen?

Hatte er genügend Zeit?

Verstand er die Grenzen der Technik?

Kann der betroffene Mensch die Entscheidung nachvollziehen und anfechten?

Wenn die Antwort auf diese Fragen Nein lautet, war der Mensch vielleicht in der Schleife.

Aber er hatte die Schleife nicht unter Kontrolle.

Verantwortung darf nicht automatisiert verschwinden

Künstliche Intelligenz kann unterstützen.

Sie kann große Datenmengen strukturieren, Hinweise liefern und menschliche Arbeit verbessern.

Doch je stärker sie über Rechte, Chancen, Sicherheit und Lebenswege mitentscheidet, desto höher müssen die Anforderungen an Transparenz, Kontrolle und Verantwortung sein.

Eine menschliche Unterschrift genügt nicht.

Wirksame Kontrolle braucht:

Wissen.
Zeit.
Entscheidungsfreiheit.
Mut zum Widerspruch.
Reale Befugnisse.
Nachvollziehbare Gründe.
Und einen offenen Weg zur Korrektur.

Menschenwürde bedeutet auch im digitalen Zeitalter:

Der Mensch darf nicht zum Objekt einer Entscheidung werden, die niemand vollständig erklärt

und niemand wirklich verantwortet.

Achten Sie bei KI-gestützten Verfahren nicht nur darauf, ob ein Mensch beteiligt war.

Fragen Sie, was dieser Mensch wusste, prüfen konnte und verändern durfte.

Dokumentieren Sie unklare Abläufe. Stellen Sie präzise Fragen. Machen Sie wiederkehrende Muster sichtbar.

Denn verantwortliche Technologie beginnt dort, wo Verantwortung nicht verborgen werden kann.

8. Häufige Fragen

Was bedeutet Human Oversight?

Human Oversight bezeichnet technische und organisatorische Maßnahmen, durch die Menschen KI-Systeme wirksam überwachen, Ergebnisse kritisch prüfen, ihnen widersprechen, sie übersteuern und erforderlichenfalls stoppen können.

Reicht eine menschliche Unterschrift bei einer KI-Entscheidung aus?

Nein. Eine Unterschrift beweist nicht automatisch, dass eine eigenständige menschliche Prüfung stattgefunden hat. Entscheidend sind Kompetenz, Zeit, ausreichende Informationen, Entscheidungsfreiheit und die tatsächliche Möglichkeit, vom KI-Ergebnis abzuweichen.

Was ist Automatisierungsbias?

Automatisierungsbias ist die Tendenz, automatisierten Empfehlungen oder Ergebnissen übermäßig zu vertrauen. Menschen können dadurch eigene Zweifel zurückstellen, Warnzeichen übersehen oder fehlerhafte Systemausgaben übernehmen.

Was verlangt Artikel 14 des EU AI Act?

Artikel 14 verlangt bei Hochrisiko-KI eine wirksame menschliche Aufsicht. Aufsichtspersonen sollen die Fähigkeiten und Grenzen des Systems verstehen, Ergebnisse interpretieren, Automatisierungsbias berücksichtigen, Ausgaben ignorieren oder umkehren und gegebenenfalls in den Betrieb eingreifen können. rägt die Verantwortung für eine KI-gestützte Entscheidung?

Die Verantwortung kann je nach Fall verschiedene Beteiligte treffen, darunter Anbieter, Betreiber, Institutionen, Leitungspersonen und konkrete Entscheidungsträger. Sie verschwindet nicht dadurch, dass Aufgaben technisch oder organisatorisch auf mehrere Akteure verteilt werden.

Welche Rechte bestehen bei automatisierten Entscheidungen?

Abhängig vom Einzelfall können Informations-, Auskunfts-, Berichtigungs-, Datenschutz-, Begründungs-, Beschwerde- oder Rechtsschutzrechte bestehen. Artikel 22 DSGVO enthält besondere Regeln für bestimmte ausschließlich automatisierte Entscheidungen mit rechtlicher oder vergleichbar erheblicher Wirkung. erkennt man nur scheinbare menschliche Kontrolle?

Warnzeichen sind extrem kurze Prüfzeiten, unverständliche Scores, fehlende Abweichungsmöglichkeiten, einseitige Begründungspflichten, unklare Zuständigkeiten und die Behauptung, ein Mensch habe entschieden, obwohl keine eigenständige Abwägung erkennbar ist.

Ist Human in the Loop immer ausreichend?

Nein. Ein Mensch in der Entscheidungskette schützt nur dann wirksam, wenn er kompetent, informiert, unabhängig und entscheidungsbefugt ist. Eine rein formale Beteiligung kann Automatisierung lediglich legitimieren, statt sie zu kontrollieren.