Was Betroffene bei KI-Entscheidungen verlangen können

Eine Bewerbung wird aussortiert.

Ein Vertrag wird abgelehnt.

Eine Sozialleistung verzögert sich – und als Begründung bleibt nur ein Score.

„Das System hat so entschieden“ ist keine Erklärung.

Wer durch eine folgenreiche Entscheidung belastet wird, muss verstehen können, was geschehen ist. Welche Daten wurden verwendet? Welche Rolle spielte künstliche Intelligenz? Hat ein Mensch wirklich geprüft? Und wie lässt sich ein Fehler korrigieren?

Diese Fragen sind keine technische Nebensache.

Sie entscheiden darüber, ob Rechtsschutz praktisch möglich bleibt.

Das Wichtigste zuerst

Ein allgemeines Recht auf vollständige Offenlegung jedes Algorithmus gibt es nicht.

Betroffene können jedoch – abhängig vom konkreten Fall – Informationen über die Verarbeitung ihrer Daten, die Rolle eines automatisierten Systems, wesentliche Entscheidungsfaktoren und vorhandene Möglichkeiten zur menschlichen Überprüfung verlangen.

Solche Ansprüche können insbesondere aus der Datenschutz-Grundverordnung, dem EU AI Act und dem jeweils anwendbaren Fach- oder Verfahrensrecht entstehen.

Der Europäische Gerichtshof hat 2025 klargestellt: Bei einer automatisierten Bonitätsbeurteilung muss die Erklärung so verständlich sein, dass die betroffene Person nachvollziehen und anfechten kann, wie die Entscheidung zustande kam. Die bloße Übermittlung eines Algorithmus reicht dafür nicht aus.

Die entscheidende Frage lautet deshalb nicht:

„Darf ich den gesamten Quellcode sehen?“

Sondern:

„Erhalte ich genug verständliche Informationen, um die Entscheidung wirksam überprüfen zu können?“

Was bedeutet ein Recht auf Erklärung wirklich?

Keine technische Vorlesung, sondern nachvollziehbare Gründe

Eine verständliche Erklärung muss keinen Programmierkurs ersetzen.

Sie sollte erkennen lassen:

• ob ein automatisiertes System eingesetzt wurde,
• welche Rolle das System im Entscheidungsprozess spielte,
• welche personenbezogenen Daten verwendet wurden,
• welche Faktoren das Ergebnis wesentlich beeinflussten,
• ob und wie eine menschliche Überprüfung stattfand,
• wie Fehler korrigiert und Einwände erhoben werden können.

Technische Komplexität darf nicht zur sprachlichen Nebelwand werden.

Ein Satz wie „Das Modell hat ein erhöhtes Risiko ermittelt“ beschreibt lediglich ein Ergebnis. Er erklärt nicht, warum gerade dieser Mensch so bewertet wurde.

Erklärung und Offenlegung sind nicht dasselbe

Betroffene benötigen nicht zwingend sämtliche mathematischen Formeln oder den vollständigen Quellcode.

Solche Informationen wären für die meisten Menschen kaum verständlich. Sie könnten das eigentliche Problem sogar verdecken.

Der Europäische Gerichtshof verlangt vielmehr eine Beschreibung des konkret angewandten Verfahrens und seiner Grundsätze. Die Person muss erkennen können, welche ihrer Daten auf welche Weise verwendet wurden. Als mögliche Form einer verständlichen Erläuterung nennt der Gerichtshof auch die Information, wie eine Veränderung bestimmter Eingangsdaten das Ergebnis verändert hätte.

Das kann praktisch bedeuten:

„Der Score wurde vor allem durch drei verspätete Zahlungen, eine veraltete Anschrift und die Länge der bisherigen Kundenbeziehung beeinflusst.“

Oder:

„Wäre die als offen gespeicherte Forderung als erledigt erfasst worden, wäre der Antrag nicht automatisch in die höchste Risikokategorie eingeordnet worden.“

Das ist verständlicher als tausend Zeilen Programmcode.

Erklärbarkeit ist Voraussetzung für Rechtsschutz

Eine Erklärung ist kein höflicher Zusatz.

Sie ermöglicht es Betroffenen,

falsche Daten zu erkennen,

diskriminierende Faktoren sichtbar zu machen,

eine Entscheidung anzufechten,

eine menschliche Überprüfung zu verlangen

und gegebenenfalls eine Aufsichtsbehörde oder ein Gericht einzuschalten.

Rechtsschutz beginnt mit dem Wissen, wogegen man sich wehren muss.

Vier rechtliche Wege zu einer Erklärung

1. Das Auskunftsrecht nach der DSGVO

Artikel 15 DSGVO gibt Menschen grundsätzlich das Recht, Auskunft über die Verarbeitung ihrer personenbezogenen Daten zu erhalten.

Bei automatisierten Entscheidungen können dazu „aussagekräftige Informationen über die involvierte Logik“ sowie die Tragweite und die angestrebten Auswirkungen der Verarbeitung gehören.

Das bedeutet nicht, dass jede Nutzung von Software offengelegt werden muss.

Entscheidend ist unter anderem:

• Werden personenbezogene Daten verarbeitet?
• Findet eine automatisierte Entscheidungsfindung oder ein Profiling statt?
• Welche Informationen sind erforderlich, damit die betroffene Person die Verarbeitung verstehen kann?

Der Europäische Datenschutzausschuss unterscheidet dabei zwischen automatisierten Entscheidungen ohne menschliche Beteiligung und Profiling, bei dem personenbezogene Daten automatisiert ausgewertet werden, um persönliche Merkmale oder wahrscheinliches Verhalten zu beurteilen.

2. Schutz vor ausschließlich automatisierten Entscheidungen

Artikel 22 DSGVO schützt grundsätzlich davor, einer ausschließlich automatisierten Entscheidung unterworfen zu werden, die rechtliche Wirkung entfaltet oder eine Person in ähnlich erheblicher Weise beeinträchtigt.

Das kann beispielsweise relevant sein, wenn ein System ohne echte menschliche Prüfung über einen Vertrag, einen Kredit oder einen anderen bedeutsamen Zugang entscheidet.

Der Schutz gilt nicht ausnahmslos. Automatisierte Entscheidungen können unter bestimmten gesetzlichen Voraussetzungen, bei Erforderlichkeit für einen Vertrag oder aufgrund ausdrücklicher Einwilligung zulässig sein.

Dann müssen jedoch geeignete Schutzmaßnahmen bestehen. Dazu können gehören:

• das Recht auf menschliches Eingreifen,
• die Möglichkeit, den eigenen Standpunkt darzulegen,
• die Möglichkeit, die Entscheidung anzufechten.

Der Europäische Gerichtshof entschied im SCHUFA-Verfahren, dass bereits ein automatisch erzeugter Score als automatisierte Entscheidung gelten kann, wenn das später entscheidende Unternehmen diesem Wert eine maßgebliche Rolle beimisst. Ein Unternehmen kann Verantwortung also nicht ohne Weiteres dadurch vermeiden, dass es erklärt, der Score sei nur eine „Empfehlung“.

3. Das Erklärungsrecht aus Artikel 86 des AI Act

Artikel 86 des EU AI Act enthält ein spezielles „Recht auf Erläuterung der Entscheidungsfindung im Einzelfall“.

Es betrifft bestimmte Entscheidungen, die auf den Ausgaben eines in Anhang III aufgeführten Hochrisiko-KI-Systems beruhen. Die Entscheidung muss rechtliche Auswirkungen haben oder eine Person in ähnlich erheblicher Weise beeinträchtigen. Betroffene können dann eine klare und aussagekräftige Erläuterung zur Rolle des KI-Systems sowie zu den wichtigsten Elementen der Entscheidung verlangen.

Artikel 86 gilt jedoch nicht pauschal bei jeder Anwendung künstlicher Intelligenz.

Zu prüfen sind insbesondere:

• Handelt es sich rechtlich um ein erfasstes Hochrisiko-KI-System?
• Beruht die konkrete Entscheidung auf dessen Ausgabe?
• Entfaltet die Entscheidung rechtliche oder vergleichbar erhebliche Folgen?
• Sind Gesundheit, Sicherheit oder Grundrechte möglicherweise nachteilig betroffen?

Die EU hat 2026 die Anwendung wichtiger Vorschriften für Hochrisiko-KI verschoben. Für eigenständige Hochrisikosysteme ist nun grundsätzlich der 2. Dezember 2027 vorgesehen, für bestimmte in Produkte eingebettete Systeme der 2. August 2028. Die konkrete Anwendbarkeit eines Anspruchs muss daher anhand des finalen geänderten Rechtsrahmens und des betroffenen Systems geprüft werden. Bereits bestehende Rechte aus der DSGVO bleiben davon unberührt.

4. Fachrecht und allgemeines Verfahrensrecht

Nicht jeder Anspruch entsteht aus Datenschutz- oder KI-Recht.

Weitere Informations-, Anhörungs- und Begründungsrechte können sich aus dem jeweiligen Rechtsgebiet ergeben, etwa aus:

• Verwaltungsverfahrensrecht,
• Sozialrecht,
• Arbeitsrecht,
• Verbraucher- und Kreditrecht,
• Antidiskriminierungsrecht,
• Akteneinsichtsrechten,
• gerichtlichen Verfahrensgarantien.

Eine Behörde muss eine belastende Entscheidung möglicherweise schon deshalb nachvollziehbar begründen, weil das Verwaltungsrecht dies verlangt – unabhängig davon, ob das verwendete technische System rechtlich als KI eingestuft wird.

Drei Abgrenzungen sind dabei besonders wichtig:

Nicht jede Software ist künstliche Intelligenz.

Nicht jede KI-gestützte Entscheidung ist ausschließlich automatisiert.

Nicht jede unangenehme Entscheidung beeinträchtigt einen Menschen rechtlich oder ähnlich erheblich.

Der Score, den niemand erklären will

Stellen wir uns eine beispielhafte Situation vor.

Eine Person möchte einen Mobilfunk- oder Ratenzahlungsvertrag abschließen.

Wenige Sekunden nach dem Absenden erscheint:

„Ihr Antrag konnte leider nicht angenommen werden.“

Auf Nachfrage erklärt der Anbieter, ein externer Bewertungsdienst habe einen zu niedrigen Score übermittelt.

Der Bewertungsdienst antwortet, das Ergebnis beruhe auf einem komplexen mathematischen Verfahren. Einzelheiten seien vertraulich. Außerdem habe nicht der Bewertungsdienst, sondern der Anbieter die endgültige Entscheidung getroffen.

Der Anbieter verweist wiederum auf den Score.

Die Person stellt einfache Fragen:

Welche Daten wurden verwendet?

Stimmen diese Daten?

Welche Faktoren haben den Wert verschlechtert?

Hätte die Korrektur eines Fehlers das Ergebnis verändert?

Die Antworten bleiben allgemein.

Alle waren an der Entscheidung beteiligt. Niemand fühlt sich für ihre Erklärung verantwortlich.

Genau hier entsteht ein strukturelles Problem.

Verantwortung wird zwischen Datenlieferanten, Systemanbietern, Anwendern und angeblich menschlichen Entscheidern aufgeteilt, bis sie praktisch verschwindet.

Was Betroffene konkret fragen können

Wer eine KI-gestützte oder automatisierte Entscheidung vermutet, kann zunächst neun klare Fragen stellen:

1. Wurde bei der Entscheidung ein automatisiertes Bewertungs- oder KI-System verwendet?
2. Welche konkrete Rolle spielte das System?
3. Welche personenbezogenen Daten wurden verarbeitet?
4. Aus welchen Quellen stammen diese Daten?
5. Welche Faktoren beeinflussten das Ergebnis wesentlich?
6. Wie führten die Daten zum konkreten Ergebnis?
7. Hätte eine Änderung bestimmter Daten zu einem anderen Ergebnis geführt?
8. Wer hat das Ergebnis menschlich überprüft?
9. Wie kann ich die Entscheidung anfechten oder erneut prüfen lassen?

Nicht jede Stelle muss jede Frage in derselben Form beantworten.

Doch diese Fragen helfen, zwischen einer echten Begründung und einer bloßen Behauptung zu unterscheiden.

Was keine ausreichende Erklärung ist

„Der Algorithmus hat es berechnet“

Das erklärt nicht, welche Daten entscheidend waren.

Es sagt nur, dass Technik eingesetzt wurde.

„Unser Modell ist zu komplex“

Komplexität kann eine Herausforderung darstellen.

Sie darf aber nicht dazu führen, dass eine folgenreiche Entscheidung vollständig unangreifbar wird.

Wer ein System für Entscheidungen über Menschen einsetzt, muss sich zuvor fragen, ob die Ergebnisse überhaupt angemessen erläutert werden können.

Ein Quellcode ohne Einordnung

Die Übermittlung von Programmcode ist nicht automatisch Transparenz.

Der Europäische Gerichtshof hat ausdrücklich hervorgehoben, dass ein Algorithmus allein keine ausreichend präzise und verständliche Erläuterung sein muss.

„Das ist ein Geschäftsgeheimnis“

Geschäftsgeheimnisse können berechtigten Schutz genießen.

Sie dürfen das Auskunftsrecht jedoch nicht automatisch vollständig beseitigen. Nach der EuGH-Rechtsprechung können angeblich geschützte Informationen einer zuständigen Aufsichtsbehörde oder einem Gericht vorgelegt werden. Dort sind die betroffenen Rechte und Interessen gegeneinander abzuwägen.

„Am Ende hat ein Mensch entschieden“

Die Anwesenheit eines Menschen macht eine Entscheidung nicht automatisch menschlich.

Eine wirkliche Überprüfung setzt voraus, dass die Person:

• die Bedeutung des Systemergebnisses versteht,
• Zugang zu den relevanten Informationen hat,
• individuelle Umstände prüfen kann,
• ausreichend Zeit besitzt,
• tatsächlich von der Empfehlung abweichen darf,
• eine eigene Begründung formuliert.

Eine Unterschrift unter einer automatisierten Empfehlung ist noch keine eigenständige Entscheidung.

Das Märchen von der menschlichen Letztentscheidung

Technische Empfehlungen wirken häufig objektiver, als sie sind.

Ein Score mit zwei Nachkommastellen erscheint präzise.

Eine rote Warnmeldung wirkt eindeutig.

Eine Rangliste vermittelt Ordnung.

Doch hinter jeder technischen Bewertung stehen Entscheidungen:

Welche Daten werden erhoben?

Welche Merkmale gelten als relevant?

Welche historischen Fälle dienen als Vergleich?

Welcher Fehler wird akzeptiert?

Wer wird besonders häufig falsch eingeordnet?

Menschen können zu einem sogenannten Automatisierungsbias neigen: Sie vertrauen technischen Ergebnissen, weil diese neutral, wissenschaftlich oder unbestechlich erscheinen.

Dann wird die menschliche Kontrolle zur Formalität.

Die zuständige Person fragt nicht mehr:

„Ist das Ergebnis im konkreten Fall richtig?“

Sie fragt nur noch:

„Gibt es einen offensichtlichen Grund, der Maschine zu widersprechen?“

Das ist ein entscheidender Unterschied.

Eine Institution darf technische Unterstützung nutzen. Sie darf Verantwortung aber nicht an Technik delegieren.

Wo Erklärbarkeit besonders wichtig ist

Kredit und Bonität

Scores können darüber mitentscheiden, ob ein Kredit, ein Vertrag oder eine bestimmte Zahlungsart angeboten wird.

Bewerbung und Beschäftigung

Automatisierte Systeme können Lebensläufe sortieren, Eignung prognostizieren, Videoaufnahmen analysieren oder Beschäftigte bewerten.

Sozialleistungen und Verwaltung

Systeme können Anträge priorisieren, Auffälligkeiten markieren oder eine zusätzliche Prüfung empfehlen.

Versicherungen und Gesundheit

Risikomodelle können Beiträge, Vertragsbedingungen oder die Prüfung bestimmter Leistungen beeinflussen.

Bildung

Technische Systeme können Prüfungen beaufsichtigen, Leistungen bewerten oder Zugangsentscheidungen vorbereiten.

Migration, Polizei und Justiz

Besonders sensible Systeme können Risiken bewerten, Informationen strukturieren oder Entscheidungen vorbereiten, die Freiheit, Aufenthalt und Zugang zu Rechtsschutz betreffen.

Der Mensch ist mehr als sein Datenprofil

Der hochgeladene Text zum Naturrecht betont, dass alle Menschen ihrem Recht und ihrer Würde nach gleich sind, ohne deshalb identisch oder austauschbar zu sein.

Jeder Mensch bleibt individuell.

Gleichheit vor dem Recht darf nicht zu einer Gleichmacherei werden, die Biografie, Situation und Persönlichkeit ausradiert. Der Text greift zudem den Gedanken auf, dass ein Mensch niemals bloß zum Mittel für einen fremden Zweck degradiert werden darf.

Für algorithmische Entscheidungen folgt daraus ein klarer Maßstab:

Ein Datenprofil darf Informationen über einen Menschen enthalten. Es darf nicht mit dem Menschen selbst verwechselt werden.

Ein Score kennt keine Angst.

Ein Risikomodell kennt keine Lebensgeschichte.

Eine statistische Wahrscheinlichkeit trägt keine Verantwortung.

Sieben Warnzeichen intransparenter KI-Entscheidungen

1. Niemand kann erklären, welche Daten verwendet wurden.
2. Der Score wird wie eine unbestreitbare Tatsache behandelt.
3. Fehlerhafte Informationen lassen sich nicht zeitnah korrigieren.
4. Anbieter und Anwender schieben sich gegenseitig die Verantwortung zu.
5. Die menschliche Prüfung besteht nur aus einer Bestätigung.
6. Geschäftsgeheimnisse werden pauschal gegen jede Auskunft eingewandt.
7. Ein erreichbarer Beschwerde- oder Rechtsbehelfsweg fehlt.

Ein einzelnes Warnzeichen beweist noch keine Rechtsverletzung.

Mehrere wiederkehrende Merkmale können jedoch auf ein strukturelles Transparenz- und Rechtsschutzproblem hinweisen.

Was Betroffene grundsätzlich tun können

1. Die Entscheidung sichern

Bewahren Sie Schreiben, E-Mails, Screenshots, Formulare und Zeitangaben auf.

2. Schriftlich nach dem Technikeinsatz fragen

Fragen Sie klar, ob eine automatisierte Bewertung, ein Profiling oder ein KI-System eingesetzt wurde.

3. Auskunft über die Daten verlangen

Bitten Sie um Mitteilung der verarbeiteten personenbezogenen Daten und ihrer Quellen.

4. Falsche Daten berichtigen lassen

Benennen Sie den Fehler möglichst präzise und fügen Sie geeignete Nachweise bei.

5. Eine verständliche Erklärung verlangen

Fragen Sie nach der Rolle des Systems, den wesentlichen Faktoren und der Bedeutung des Ergebnisses.

6. Eine echte menschliche Überprüfung beantragen

Bitten Sie nicht nur um erneute automatische Verarbeitung, sondern um eine inhaltliche Prüfung durch eine entscheidungsbefugte Person.

7. Fristen beachten

Bei behördlichen oder gerichtlichen Entscheidungen können kurze Rechtsbehelfsfristen gelten.

8. Unabhängige Unterstützung suchen

Je nach Fall können Datenschutzaufsichtsbehörden, Verbraucherberatung, Beratungsstellen oder fachkundige rechtliche Unterstützung sinnvoll sein.

Musterformulierung für eine erste Anfrage

Ich bitte um Mitteilung, ob bei der mich betreffenden Entscheidung ein automatisiertes Entscheidungs-, Profiling- oder KI-System eingesetzt wurde.

Bitte erläutern Sie verständlich, welche Rolle dieses System im Entscheidungsprozess spielte, welche personenbezogenen Daten verwendet wurden, aus welchen Quellen diese stammen und welche Faktoren das Ergebnis wesentlich beeinflusst haben.

Bitte teilen Sie außerdem mit, ob eine inhaltliche menschliche Überprüfung stattgefunden hat, wer für die endgültige Entscheidung verantwortlich ist und welche Möglichkeiten zur Berichtigung, Überprüfung oder Anfechtung bestehen.

Ob und in welchem Umfang ein Anspruch besteht, hängt vom Einzelfall ab.

Was verantwortliche Institutionen leisten müssen

Erklärbarkeit darf nicht erst nach einer Beschwerde beginnen.

Sie muss bereits bei der Auswahl und Gestaltung eines Systems berücksichtigt werden.

Eine verantwortliche Institution sollte:

• klare Zuständigkeiten festlegen,
• verwendete Systeme dokumentieren,
• nachvollziehbare Begründungen ermöglichen,
• Datenkorrekturen praktikabel gestalten,
• menschliche Kontrollbefugnisse sichern,
• Beschwerden systematisch auswerten,
• wiederkehrende Benachteiligungen untersuchen,
• bei nicht beherrschbaren Risiken auf den Einsatz verzichten.

Ein System, dessen folgenreiche Ergebnisse niemand verständlich erklären kann, ist für Entscheidungen über Menschen nur begrenzt geeignet.

Eine unerklärbare Entscheidung darf nicht unangreifbar sein

Künstliche Intelligenz kann Prozesse beschleunigen.

Sie kann Informationen ordnen.

Sie kann Muster erkennen.

Doch sie kann Verantwortung nicht übernehmen.

Ein Mensch, dessen Leben durch eine Entscheidung erheblich beeinflusst wird, darf nicht vor einer technischen Black Box stehen.

Er muss fragen können:

Was ist geschehen?

Welche Daten wurden verwendet?

Wer hat entschieden?

Wie kann ich widersprechen?

Erklärbarkeit ist kein technischer Luxus.

Sie ist eine Voraussetzung wirksamen Rechtsschutzes.

Ein würdevoller nächster Schritt

Wenn eine Entscheidung unverständlich bleibt, beginnen Sie mit klaren Fragen.

Dokumentieren Sie den Ablauf.

Verlangen Sie eine nachvollziehbare Begründung.

Lassen Sie falsche Daten korrigieren.

Suchen Sie bei erheblichen Folgen frühzeitig unabhängige Unterstützung.

Ein Rechtsstaat darf moderne Technik nutzen.

Aber er muss jedem Menschen ermöglichen, Macht zu verstehen, zu überprüfen und ihr mit rechtlichen Mitteln zu widersprechen.

Denn ein Mensch ist kein Score.

Und „der Computer sagt Nein“ ist keine Begründung.

Häufige Fragen zum Recht auf Erklärung bei KI

Gibt es ein allgemeines Recht auf Erklärung bei KI?

Nein. Es existiert kein einheitlicher Anspruch, der bei jeder KI-Nutzung automatisch greift. Rechte können sich jedoch abhängig von Datenverarbeitung, Automatisierungsgrad, Folgen und Systemart aus der DSGVO, dem AI Act oder dem jeweiligen Fachrecht ergeben.

Was muss eine verständliche Erklärung enthalten?

Sie sollte die Rolle des Systems, die verwendeten personenbezogenen Daten, die wesentlichen Entscheidungsfaktoren und die Bedeutung des Ergebnisses so darstellen, dass eine Überprüfung und Anfechtung möglich werden.

Muss ein Unternehmen seinen Quellcode offenlegen?

Nicht zwingend. Der Quellcode allein wäre häufig keine verständliche Erklärung. Entscheidend sind nachvollziehbare Informationen über das konkret angewandte Verfahren und dessen Wirkung auf die betroffene Person.

Können Geschäftsgeheimnisse eine Erklärung verhindern?

Nicht pauschal. Geschäftsgeheimnisse können berücksichtigt werden, schließen Auskunftsrechte aber nicht automatisch vollständig aus. Geschützte Informationen können gegebenenfalls einer Aufsichtsbehörde oder einem Gericht vorgelegt werden.

Kann ich eine menschliche Überprüfung verlangen?

Bei bestimmten ausschließlich automatisierten Entscheidungen sieht Artikel 22 DSGVO Schutzmaßnahmen vor, zu denen menschliches Eingreifen und die Anfechtung der Entscheidung gehören können.

Was gilt, wenn ein Mensch die KI-Empfehlung bestätigt hat?

Entscheidend ist, ob eine echte eigenständige Prüfung erfolgte. Eine bloße formale Bestätigung ohne ausreichende Information, Befugnis und kritische Prüfung kann unzureichend sein.

Wann ist Artikel 86 des AI Act relevant?

Artikel 86 betrifft bestimmte erhebliche Entscheidungen, die auf der Ausgabe eines erfassten Hochrisiko-KI-Systems aus Anhang III beruhen. Ob die Voraussetzungen erfüllt sind, muss anhand des konkreten Systems und des geltenden Übergangsrechts geprüft werden.

Was kann ich tun, wenn verwendete Daten falsch sind?

Unter den Voraussetzungen der DSGVO können Auskunft und Berichtigung verlangt werden. Je nach Verfahren können zusätzlich Beschwerden, Widersprüche oder gerichtliche Rechtsbehelfe bestehen.