Die EU-KI-Verordnung (KI-VO) regelt umfassend den Umgang mit Künstlicher Intelligenz in der EU und sieht unter anderem Verbote bestimmter KI-Anwendungen vor, die ein unzumutbares Risiko für die Grundrechte betroffener Personen in der EU mit sich bringen. In dem Beitrag werden die Verbote und deren Voraussetzungen beschrieben und anhand von Beispielen veranschaulicht.
Der Inhalt im Überblick
ToggleRelevanz der Verbote
Die nach der EU-KI-Verordnung verbotenen KI-Systeme dürfen gem. Art. 5 Abs. 1 KI-VO nicht in Verkehr gebracht oder betrieben werden. Bei Verstößen drohen Bußgelder von bis zu 35 Millionen EUR oder 7% des weltweiten Jahresumsatzes (je nachdem, was höher ist). Eine falsche Risikoklassifizierung geht mit einem erheblichen Risiko einher, weil sie zur Nichtbeachtung der entsprechenden Vorgaben und im schlimmsten Fall zu erheblichen Bußgeldern führen kann.
Wichtig: Interne Erwägungen hinsichtlich der Klassifizierung als verboten oder nicht verboten sollten immer nachvollziehbar dokumentiert werden, um im Falle einer falschen Klassifizierung zumindest die internen Erwägungen nachweisen zu können.
Aktuell besonders relevant sind die Verbote, weil sie bereits ab dem 2. Februar 2025 Anwendung finden. Mehr zur zeitlichen Anwendbarkeit der KI-Verordnung ->
Liste der verbotenen KI-Systeme
Zunächst ein kurzer Überblick bevor wir näher auf die einzelnen Verbote eingehen: Art. 5 Abs. 1 lit. a – h KI-VO listet abschließend die nach der EU-KI-Verordnung verbotenen KI-Systeme auf:
- Unterschwellige, manipulative oder täuschende Techniken,
- Ausnutzung der Schutzbedürftigkeit von Personen,
- Social Scoring, d. h. die Bewertung oder Klassifizierung von Personen oder Gruppen aufgrund ihres Sozialverhaltens oder ihrer persönlichen Eigenschaften,
- Bewertung und Vorhersage des Risikos einer Straftatbegehung, ausschließlich auf der Grundlage von Profilen oder Persönlichkeitsmerkmalen,
- Gesichtserkennungsdatenbanken durch ungezieltes Auslesen von Gesichtsbildern aus dem Internet oder aus Videoüberwachungsaufnahmen,
- Emotionserkennung am Arbeitsplatz oder in Bildungseinrichtungen,
- Biometrische Kategorisierungssysteme auf Grundlage sensibler Merkmale,
- Biometrische Echtzeit-Fernidentifizierung (real time biometric identification – RBI) in öffentlich zugänglichen Räumen für die Strafverfolgung außer bei eng umgrenzten Ausnahmefällen.
Verboten ist das Inverkehrbringen, die Inbetriebnahme oder die Verwendung solcher verbotenen KI-Systeme. Bei der biometrischen Echtzeit-Fernidentifizierung ist jedoch nur die Verwendung verboten. Im folgenden werden die einzelnen Verbote mit Tatbestandsvoraussetzungen und Beispielen näher beleuchtet:
Manipulative, täuschende oder unterschwellig beeinflussende KI-Systeme
Gemäß Art. 5 Abs. 1 lit. a KI-VO sind KI-Systeme verboten, die Techniken zur unterschwelligen Beeinflussung nutzen, die außerhalb des Bewusstseins einer Person wirken, oder andere absichtlich manipulative oder täuschende Methoden, denen die betroffenen Person nicht widerstehen können, selbst wenn sie sich dessen bewusst sind. Ziel oder der Wirkung der Beeinflussung muss es sein, das Verhalten einer Person oder Personengruppe wesentlich zu beeinflussen. Der Einsatz solcher manipulativen Techniken greift in mehrere Grundrechte ein, insbesondere das Recht auf persönliche Autonomie sowie die Gedanken- und Meinungsfreiheit (Art. 1, Art. 3 Abs. 1, Art. 7, Art. 10 Abs. 1, Art. 11 Abs. 1 EU-Grundrechtecharta).
Gemäß Erwägungsgrund (ErwG) 29 KI-VO sind unterschwellige Techniken solche, die die auf Beeinflussung abzielen, etwa durch den Einsatz von Reizen in Form von Ton-, Bild- oder Videoinhalten, die für Menschen nicht wahrnehmbar sind, da diese Reize außerhalb ihres bewussten Wahrnehmungsbereichs liegen.
Tatbestandsvoraussetzungen
- Unterschwellige Beeinflussung oder absichtliche manipulative Techniken: Entweder die eingesetzte Technik führt – rein faktisch – zur unterschwelligen Beeinflussung, die außerhalb des Bewusstseins einer Person wirkt, oder es werden absichtlich manipulative oder täuschende Methoden eingesetzt.
- Wesentliche Verhaltensbeeinflussung: Die eingesetzten Techniken müssen die Entscheidungsfreiheit der betroffenen Person so stark beeinflussen, dass eine wesentliche Verhaltensänderung herbeigeführt wird, die eine Entscheidung veranlasst, die andernfalls nicht getroffen worden wäre.
- Erheblicher Schaden: Diese Beeinflussung muss in einer Weise erfolgen, die der Person selbst, einer anderen Person oder einer Gruppe von Personen erheblichen Schaden zufügt oder mit hoher Wahrscheinlichkeit zufügen kann.
Ausdrücklich nicht erfasst werden (1) Methoden der Beeinflussung, die nach bisheriger Rechtslage als zulässig anzusehen sind, sollen gem. ErwG 29 KI-VO letzter Satz durch das Verbot ausdrücklich nicht erfasst. Das könnte z.B. im Bereich der Werbung der Fall sein. (2) Ebenso stellt ErwG 29 klar, dass sich das Verbot nicht auf rechtmäßige Praktiken im Zusammenhang mit medizinischen Behandlungen, etwa der psychologischen Behandlung einer psychischen Krankheit erstreckt, wenn diese den medizinischen Standards entsprechen.
In der Gesamtschau ist die Schwelle für die Anwendbarkeit des Verbots hoch, insbesondere weil die Beeinflussung/Manipulation zu einer wesentlichen Verhaltensänderung und einem erheblichen Schaden führen muss.
Wichtig: Ähnliche Verbote gibt es auch in anderen Rechtsakten der EU. So wird bspw. in Art. 9 der Richtlinie über audiovisuelle Mediendienste, Art. 5 der Richtlinie über unlautere Geschäftspraktiken im B2C- Geschäftsverkehr und Art. 25 des Digital Services Acts vergleichbare „unterschwelligen Beeinflussungen“ verboten.
Beispiele
Verboten: Die Beeinflussung durch eine Gehirn-Computer-Schnittstelle oder in virtuelle Realitäten, da diese ein höheres Maß an Kontrolle darüber ermöglichen, welche Reize den Personen angeboten werden (vgl. ErwG 29).
Es kommt darauf an: Gezielte Werbung per Emotionserkennung – erkennt ein KI-System auf einer Social Media Plattform Einsamkeit beim Nutzer und zeigt daraufhin entsprechende Werbung, für die einsame Menschen empfänglich sind, kann dies unterschwellige Beeinflussung darstellen. Fraglich bleibt jedoch, ob ein dadurch ausgelöster Kauf als erheblicher Schaden zu werten ist.
Systeme zur Ausnutzung von Schutzbedürftigkeit
Art. 5 Abs. 1 lit. b KI-VO verbietet KI-Systeme, die die Schutzbedürftigkeit bestimmter Personengruppen ausnutzen. Der Anwendungsbereich ist weiter als bei der unterschwellige Beeinflussung nach lit. a, weil neben der unterschwelligen Beeinflussung auch das offensichtliche Ausnutzen von Schwächen der betroffenen Personen oder Personengruppen erfasst wird.
Tatbestandsvoraussetzungen
- Schutzbedürftigkeit der Zielgruppe: Das System muss auf eine besonders schutzbedürftige Gruppe abzielen, bspw. aus Alter, Behinderung oder sozialen Umständen wie Armut.
- Wesentliche Verhaltensänderung: Die KI muss darauf abzielen, das Verhalten der betroffenen Personen signifikant zu beeinflussen.
- Erheblicher Schaden: Die Nutzung des KI-Systems muss für die betroffene Person oder andere einen bedeutenden Schaden mit sich bringen.
Nicht erforderlich ist hingegen, dass der Anbieter oder der Betreiber die Absicht haben, erheblichen Schaden zuzufügen. Es genügt, dass der Schaden objektiv aufgrund der manipulativen oder ausbeuterischen KI‑gestützten Praktik entsteht (vgl. ErwG 29 S. 8 KI-VO).
Beispiele
Es kommt darauf an: Ein KI-Chatbot, der Senioren unterstützt, könnte deren Vertrauen ausnutzen, um bestimmte kostenpflichtige Dienstleistungen zu verkaufen. Dies wäre unzulässig, wenn es zu einer wesentlichen Verhaltensänderung und erheblichen finanziellen Schäden führt.
Es kommt darauf an: KI-Systeme, die Kinder/Jugendliche in Online-Games zu wiederholten In-App-Käufen verleiten, indem sie etwa Suchtmechanismen aktivieren, könnten verboten sein, wenn solche Käufe zu finanziellen Schäden führen. Für ein Verbot spricht, dass gem. ErwG 29 S. 6 KI-VO auch KI-Systeme erfasst werden soll, die zu Schäden führen, die sich erst im Laufe der Zeit summieren.
Social Scoring-KI-Systeme
Sie kennen sicher die Berichte aus China, wo Bürger umfassend von sog. Social-Scoring-Systemen bewertet werden und bei niedrigem „sozialen Bonitätscore“ ihre Kinder nicht mehr auf gute Schule schicken können oder keine Zugtickets mehr kaufen können. Solches Social Scoring ist nach Art. 5 Abs. 1 lit. c KI-VO in der EU verboten.
Tatbestandsvoraussetzungen
- Soziale Bewertung: Verboten sind nur soziale Bewertung natürlicher Personen oder Personengruppen, d.h. eine allgemeine Einstufung als „gut“ oder „schlecht“ im Sinne eines moralischen Urteils.
- Ungerechtfertigte Benachteiligung: Die Bewertung darf keinen sachlichen Zusammenhang mit dem Zweck der Datenerhebung haben, z.B. Verwehrung des Zugangs zu Bildungseinrichtungen oder Transportmitteln (siehe China) und/oder
- Unverhältnismäßige Auswirkungen: Die Einstufung muss eine unverhältnismäßige Benachteiligung für die Betroffenen zur Folge haben, die in keinem sachlichen Verhältnis zum Verhalten steht.
Nicht erfasst werden Bewertungspraktiken, die im Einklang mit dem Unionsrecht und dem nationalen Recht durchgeführt werden (vgl. ErwG 31 S. 6 KI-VO). D.h. solche Bewertungen, die nur spezifische Merkmale wie Zahlungsfähigkeit oder berufliche Leistung betreffen, da sie kein allgemeines Werturteil darstellen. Wird jedoch ein solcher Score im Kontext eines umfassenderen Werturteils verwendet, kann das Verbot des sozialen Scorings greifen.
Wichtig: Geltung auch für private Akteure – Das Verbot zielte ursprünglich nur auf Behörden und deren Dienstleister ab. In der finalen Fassung gilt das Verbot aber auch für private Akteure. In der Praxis werden voraussichtlich vor allem Fälle relevant sein, in denen private Akteure Social Scoring einsetzen, um bspw. anhand von Social Media-Aktivitäten Entscheidungen über Einstellungen oder eine Kreditgewährung zu treffen.
Beispiel
Scoring-System zur Erkennung potenzieller Sozialbetrüger: Ein KI-System, das Sozialbetrug durch Datenauswertungen unter Berücksichtigung von Faktoren wie Wohnort, Staatsangehörigkeit oder Vorstrafen vorhersagt. Wichtig ist, dass die Einstufung keine unverhältnismäßigen Konsequenzen hat. Ob es verboten wäre, kommt auf die Konsequenzen an:
Erlaubt: Eine genauere Überprüfung bei Verdacht wäre eher unproblematisch, weil es keine unverhältnismäßige Auswirkungen hätte. Ggf. wäre der Einsatz aber nach anderen Gesetzen rechtswidrig, z.B. wegen Verstoß gegen Art. 22 DSGVO (so geschehen bei Familienbeihilfe in Frankreich vgl. EU top court’s ruling spells trouble for scoring algorithms – Euractiv).
Verboten: Das automatische Verwehren oder Einstellen von Sozialleistungen ohne menschliche Kontrolle wäre unverhältnismäßig und daher verboten (so geschehen in den Niederlanden, vgl. Welfare surveillance on trial in the Netherlands | openDemocracy).
Systeme zur Bewertung und Vorhersage des Risikos der Begehung von Straftaten
Ebenfalls untersagt sind KI-Systeme, die ausschließlich aufgrund von Persönlichkeitsmerkmalen oder Profilings Bewertungen und Vorhersagen zur Begehung von Straftaten erstellen (Art. 5 Abs. 1 lit. d KI-VO).
Tatbestandsvoraussetzungen
- Risikobewertung in Bezug auf Begehung einer Straftat: Das Verbot betrifft KI-Systeme, die eine Risikobewertung für natürliche Personen erstellen, um die Wahrscheinlichkeit einer zukünftigen Straftat vorherzusagen. Nicht verboten sind hingegen Maßnahmen, die auf die Aufklärung bereits begangener Straftaten abzielen.
- Ausschließliche Nutzung von Persönlichkeitsprofilen: Die Bewertung und Vorhersage ausschließlich auf der Grundlage des Profiling einer natürlichen Person oder der Bewertung ihrer persönlichen Merkmale und Eigenschaften zu.
Ausdrücklich nicht verboten sind KI-Systeme zur Unterstützung einer menschlichen Bewertung und die Bewertung auf objektiven und überprüfbaren Fakten basiert, die in direktem Zusammenhang mit einer kriminellen Aktivität stehen. Es greift ebenfalls nicht, wenn es zur Aufdeckung von Finanzbetrug anhand verdächtiger Überweisungen eingesetzt wird (vgl. ErwG 42 S. 2 KI-VO).
Beispiele
Erlaubt: Ortsbezogenes Predictive Policing: Ein KI-System, das Straftaten allein auf Basis von ortsbezogenen Risikobewertungen vorhersagt, z.B. der Häufigkeit von Straftaten in der Vergangenheit. So der Wortlaut („ausschließlich auf der Grundlage des Profiling einer natürlichen Person oder der Bewertung ihrer persönlichen Merkmale und Eigenschaften„), daher sind ortsbezogene Risikobewertungen nicht verboten, sondern nur personenbezogene Risikobewertungen.
Verboten: Personenbezogenes Predictive Policing: Ein KI-System, das Menschen allein auf Basis ihres sozialen Hintergrunds als potenziell kriminell einstuft.
Gesichtserkennungsdatenbanken
Nach Art. 5 Abs. 1 lit. e KI-VO sind KI‑Systeme, die Datenbanken zur Gesichtserkennung durch das ungezielte Auslesen von Gesichtsbildern aus dem Internet oder aus Überwachungsaufnahmen erstellen oder erweitern, verboten.
Das Verbot soll verhindern, dass ohne Zustimmung von betroffenen Personen KI-Systeme genutzt werden, um Gesichtsbilder zu sammeln oder auszuwerten, weil dadurch ein erheblicher Kontrollverlust einhergehen kann.
Tatbestandsvoraussetzungen
- Ein KI-System erstellt oder erweitert Datenbanken für die Gesichtserkennung oder
- ein KI-System liest gezielt Gesichtsbildern aus dem Internet oder aus Videoüberwachung aus.
Nicht verboten sind hingegen das Sammeln und Auslesen von Daten, wenn sie entweder auf der expliziten Zustimmung der betroffenen Personen beruhen oder die Datenverarbeitung für spezifische und rechtmäßige Zwecke erfolgt (vgl. ErwG 43 KI-VO).
Beispiel
Verboten: Das Geschäftsmodell von Clearview AI, einem US-amerikanisches Start-up, das sich auf Gesichtserkennung spezialisiert hat. Mithilfe großer Bilddatenmengen und maschinellem Lernen entwickelt Clearview AI Technologien, die es ermöglichen, Personen anhand von Fotos zu identifizieren. Grundlage ist eine Datenbank mit Milliarden von Bildern aus verschiedenen Quellen im Internet, wie z.B. Facebook und YouTube.
Emotionserkennung am Arbeitsplatz oder in Bildungseinrichtungen
Emotionserkennung im Arbeits- und Bildungsumfeld ist nach Art. 5 Abs. 1 lit. f KI-VO verboten. Der Einsatz im Arbeitsumfeld und der Bildung ist verboten, weil in diesen Bereichen ein besonderes Machtungleichgewicht besteht.
Der Grund für das Verbot dieser Technologie ist, dass solche Systeme nur eingeschränkt zuverlässig sind, da Emotionen nicht eindeutig und nur begrenzt verallgemeinerbar sind (z.B. gibt es Unterschiede nach Kulturkreisen), und sowohl „False Rejects“ als auch „False Accepts“ verursachen können (vgl. ErwG 44 S. 2 KI-VO).
Tatbestandsvoraussetzungen
- Ableitung von Emotionen: Dies betrifft etwa KI-Systeme, die Emotionen wie Glück, Trauer, Wut, Überraschung, Ekel, Verlegenheit, oder Zufriedenheit und Vergnügen von Mitarbeitenden oder Schülern analysieren. Nicht vom dem Verbot erfasst werden physische Zustände wie Schmerz oder Ermüdung (vgl. ErwG 18 S. 2 KI-VO).
- Einsatz in Arbeits- oder Bildungskontext: Die KI muss zur Überwachung im Arbeits- oder Bildungskontext eingesetzt werden.
Ausdrücklich nicht erfasst werden KI-Systeme, die ausschließlich für den medizinischen Bereich und den Sicherheitsbereich in den Verkehr gebracht werden (vgl. Wortlaut und ErwG 44 S. 5 und 6 KI-VO).
Wichtig: KI-Systeme, die in anderen Bereichen zur Emotionserkennung verwendet werden sollen, gelten gemäß Art. 6 Abs. 2 i.V.m. Anhang III Punkt 1 lit. c als Hochrisiko-KI-Systeme und müssen zudem die in Art. 50 Abs. 3 genannten Transparenzanforderungen erfüllen.
Beispiel
Überwachung der Konzentration von Schülern – ein KI-System, das über Kameras das Verhalten von Schüler überwacht (so ähnlich in China: „In Chinese Classrooms, AI Monitors Students’ Every Move.“ Ob ein solches KI-System verboten wäre, kommt auf das erfasste Verhalten an:
Es wäre nicht verboten, solange es nur physische Zustände der Schüler wie bspw. Müdigkeit erfasst.
Es würde unter das Verbot fallen, wenn es Emotionen erfasst, wie Verlegenheit, Zufriedenheit oder Langeweile der Schüler
Unklar ist die Einordnung von Systeme, mit denen Beschäftigte oder Schüler/Studenten gecoacht werden sollen, z.B. um Feedback zu Präsentationen zu geben oder chronische Zustände wie Depression und Burnout festzustellen.
Biometrische Kategorisierung von Personen
Verboten sind gemäß Art. 5 Abs. 1 lit. g KI-VO auch KI-Systeme, die biometrische Daten zur Kategorisierung von Personen nach bestimmten sensiblen Eigenschaften wie Religion oder politischer Einstellung verwenden. Das Verbot wurde auf Empfehlung des Europäischen Datenschutzausschusses (EDSA) aufgenommen, der sich in den Leitlinien über den Einsatz von Gesichtserkennung in der Strafverfolgung allgemein gegen KI-gestützte Gesichtserkennung anhand biometrischer Merkmale aussprach (dort Rn. 107).
Wichtig – Beachtung weiterer Vorgaben: Das Verbot wird durch Regelungen im Digital Services Act (DSA) und der DSGVO ergänzt, weil nach Art. 26 DSA personalisierte Werbung auf Basis von Profiling unter Verwendung besonderer Kategorien personenbezogener Daten verboten ist sowie die Verwendung jeglicher personenbezogenen Daten zum Profiling Minderjähriger. Bei dem Einsatz biometrischer Kategorisierungssysteme sind zudem Art. 10 JI-RL und Art. 9 DSGVO zu beachten.
Tatbestandsvoraussetzungen
- Biometrische Kategorisierung: Das Verbot bezieht sich ausschließlich auf KI-Systeme zur biometrischen Kategorisierung. D.h. KI-Systeme, die für den spezifischen Zweck der biometrischen Kategorisierung in Verkehr gebracht oder in Betrieb genommen wurden. Definiert werden diese in Art. 3 Nr. 40 als solche, die Personen anhand biometrischer Daten bestimmten Kategorien zuordnen. „Biometrische Daten“ sind gem. Art. 3 Nr. 34 personenbezogene Daten, die durch spezielle technische Verfahren Merkmale erfassen wie physische, physiologische oder verhaltensspezifische Eigenschaften einer Person, etwa Gesichtsbilder oder Fingerabdrücke.
- Bezogen auf ein Individuum: Das Verbot der biometrischen Kategorisierung erfasst nur Fälle, in denen individuelle, natürliche Personen biometrisch anhand bestimmter sensibler Merkmale wie Rasse, politische Einstellung, Gewerkschaftszugehörigkeit, religiöse oder weltanschauliche Überzeugungen, Sexualleben oder sexuelle Ausrichtung vornehmen (abschließende Aufzählung) kategorisiert werden. Merkmale wie Geschlecht, Alter, Behinderung und Sprache werden nicht erfasst (vgl. ErwG 16).
Ausdrücklich nicht erfasst werden:
Nach dem Wortlaut von Art. 5 Abs. 1 lit. g KI-VO soll sich das Verbot „nicht auf die Kennzeichnung oder Filterung rechtmäßig erworbener biometrischer Datensätze beziehen. ErwG 30 KI-VO nennt hierzu exemplarisch die Kategorisierung von Bilddaten nach Haar- oder Augenfarbe im Bereich der Strafverfolgung.
Biometrische Nebenfunktionen: Nicht als Systeme zur biometrischen Kategorisierung gelten gem. ErwG 16 KI-VO solche, die nur eine untrennbare Nebenfunktion eines Hauptdienstes sind und nicht der Umgehung der Verordnung dienen.
Beispiele
Nur Nebenfunktion: Nicht verboten sind Filter auf Online-Marktplätzen zur Visualisierung von Produkten am Nutzer oder Filter in sozialen Netzwerken zur Bildbearbeitung, die nur im Zusammenhang mit der Hauptdienstleistung genutzt werden können.
Nur indirekter Rückschluss auf sensibles Merkmal: Nicht verboten ist bspw. die Altersverifikation an Supermarktkassen mittels Gesichtserkennung, Rückschlüsse auf Religion oder Ethnie erfolgen nur indirekt. Oder ein KI-System für medizinische Zwecke, das Haar- oder Augenfarbe einer Person bestimmt woraus sich indirekt Rückschlüsse auf die ethnische Herkunft ziehen lassen.
Türsteher-KI: Ein KI-System, das Personen aufgrund ihrer Ethnie den Zugang zu einem verwehrt, wäre verboten, weil es sich auf das sensible Merkmal der Rasse stützt. Wenn es jedoch nur das Alter einer Person bestimmten soll oder bei einem Männerüberschuss im Club, Männer abweist, wäre nicht verboten.
Biometrische Echtzeit-Fernidentifizierung
Nach Art. 5 Abs. 1 lit. h KI-VO ist die Verwendung biometrischer Echtzeit-Fernidentifizierungssysteme (real time biometric identification, kurz „RBI“) in öffentlich zugänglichen Räumen zu Strafverfolgungszwecken verboten, außer wenn und insoweit dies im Hinblick auf bestimmte Ziele unbedingt erforderlich ist (s. unten).
Tatbestandsvoraussetzungen
- Abgleich mit Datenbank: RBI basiert grundsätzlich auf dem Abgleich erhobener biometrischer Daten mit einer Referenzdatenbank, die biometrische Daten gesuchter Personen enthält (vgl. Art. 3 Nr. 41 KI-VO).
- Augenblickliche Identifizierung: Die KI-VO enthält keine konkrete Festlegung, wann die zeitliche Grenze für eine Echtzeit-Fernidentifizierung erreicht ist. Es heißt lediglich, dass die Identifizierung augenblicklich oder auf jeden Fall ohne erhebliche Verzögerung stattfinden sollte (vgl. Art. 3 Nr. 42 und ErwG 17).
- In öffentlich zugänglichen Räumen: Öffentlich zugängliche Räume“ sind gemäß Art. 3 Nr. 44 solche, die einer unbestimmten Anzahl natürlicher Personen zugänglich sind, unabhängig davon, ob sie in privatem oder öffentlichem Eigentum stehen oder ob es bestimmte Bedingungen für den Zugang oder Kapazitätsbeschränkungen gibt, sofern diese Bedingungen im Prinzip von einer unbeschränkten Anzahl an Personen erfüllt werden kann, z.B. eine gültige Fahrkarte für den ÖPNV.
- Zu Strafverfolgungszwecken: Der Einsatz muss für Zwecke der Strafverfolgung erfolgen. Nach Art. 3 Nr. 46 umfasst „Strafverfolgung“ die Tätigkeiten von Strafverfolgungsbehörden oder deren Beauftragten zur Verhütung, Ermittlung, Aufdeckung oder Verfolgung von Straftaten sowie zur Strafvollstreckung, einschließlich des Schutzes der öffentlichen Sicherheit. „Strafverfolgungsbehörden“ sind laut Art. 3 Nr. 45 solche Behörden, die für die genannten Aufgaben zuständig sind, sowie andere Stellen, denen nationales Recht hoheitliche Befugnisse zur Verhütung und -verfolgung von Straftaten sowie zum Schutz der öffentlichen Sicherheit überträgt.
Ausdrücklich nicht erfasst werden Bereiche zur Durchführung von Grenzkontrollen (vgl. ErwG 19). Die KI-VO trifft keine zudem Festlegung hinsichtlich der konkret zur Identifizierung eingesetzten Technologie, des Verfahrens oder der Art der biometrischen Daten (vgl. ErwG 17 S. 1).
Ausnahmen
Das Verbot der biometrischen Echtzeit-Fernidentifizierung gilt nicht absolut, sondern wird durch einen Erlaubnisvorbehalt ergänzt. Die Mitgliedstaaten haben die Möglichkeit, den Einsatz von Echtzeit-Fernidentifizierungssystemen im Rahmen der folgenden Ausnahmen zu gestatten:
- Suche nach vermissten Personen, Entführungsopfern und Menschen, die Opfer von Menschenhandel oder sexueller Ausbeutung geworden sind,
- Verhinderung einer erheblichen und unmittelbaren Bedrohung des Lebens oder eines vorhersehbaren terroristischen Angriffs oder
- Identifizierung von Verdächtigen bei schweren Straftaten (z. B. Mord, Vergewaltigung, bewaffneter Raubüberfall, Drogen- und illegaler Waffenhandel, organisierte Kriminalität, Umweltkriminalität usw.).
Gemäß Art. 5 Abs. 1 lit. h KI-VO muss der Einsatz solcher Systeme jedoch unbedingt erforderlich sein. Abs. 2 KI-VO enthält zudem Regelungen zum Schutz der betroffenen Personen: Es muss bei Einsatz von RBI gemäß lit. a eine Situations-Folgenabschätzung, eine Eingriffs-Folgenabschätzung gemäß lit. b, sowie eine Grundrechte-Folgenabschätzung nach Art 27 KI-VO durchgeführt werden. Außerdem ist eine Registrierung der Datenverarbeitung in der EU-Datenbank gemäß Artikel 49 KI-VO erforderlich. Nach Abs. 2 Satz 2 KI-VO ist zudem eine Autorisierung durch eine Justizbehörde oder eine unabhängige Verwaltungsbehörde des Mitgliedstaats gemäß Abs. 3 KI-VO erforderlich, sowie eine Mitteilung an die Marktüberwachungsbehörde und Datenschutzbehörde gemäß Abs. 4 KI-VO.
Beispiel
Ein praktisches Beispiel für den Einsatz solcher verbotener RBI-KI-Systeme ist die videobasierte Gesichtserkennung an Bahnhöfen oder in Zügen, sofern es die Voraussetzungen des Echtzeit-Fernidentifizierung erfüllt (s. oben), d.h. nicht jede Videoüberwachung unterliegt dem Verbot.
Hilfestellung zur Auslegung der Verbote
Trotz der Erwägungsgründe zur KI-Verordnung bestehen aktuell noch Abgrenzungsschwierigkeiten hinsichtlich der Einteilung in verbotene und erlaubte KI-Systeme.
Das ist auch dem Gesetzgeber bewusst gewesen, weshalb er in Art. 96 Abs. 1 lit. b KI-VO vorgesehen hat, dass die EU-Kommission Leitlinien zu Konkretisierung der Verbote bereitstellen soll, um eine Einordnung als nach der KI-Verordnung verbotenes KI-System zu erleichtern. Diese Leitlinie soll die Tatbestandsmerkmale präzisieren und klare Anweisungen für Unternehmen und Behörden bieten, wie verbotene Systeme zu identifizieren und zu vermeiden sind. Problematisch ist jedoch, dass keine Frist für die Bereitstellung der Leitlinien vorgesehen ist.
FAQs zu den nach der KI-Verordnung verbotenen KI-Systemen
Die EU-KI-Verordnung verbietet bestimmte KI-Systeme, die als unzumutbares Risiko für die Grundrechte gelten. Diese Systeme dürfen nicht in Verkehr gebracht, in Betrieb genommen oder sonst verwendet werden. Sonst drohen hohe Bußgelder.
Zu den verbotenen KI-Systemen gehören unterschwellige, manipulative Techniken, Social-Scoring-Systeme, Systeme zur Ausnutzung von Schutzbedürftigkeit, personenbezogenes Predictive Policing, Gesichtserkennungsdatenbanken, Emotionserkennung am Arbeitsplatz, biometrische Kategorisierung anhand sensibler Merkmale und Systeme zur biometrischen Echtzeit-Fernidentifizierung.
Das sind Systeme, die darauf abzielen, das Verhalten von Personen durch nicht wahrnehmbare Reize zu beeinflussen, sodass die Entscheidungsfreiheit erheblich eingeschränkt wird.
Verboten sind KI-Systeme, die gezielt Schwächen schutzbedürftiger Gruppen (z.B. Kinder oder Senioren) ausnutzen, um deren Verhalten erheblich zu beeinflussen, und das zu bedeutendem Schaden führt oder mit hoher Wahrscheinlichkeit führt .
Social Scoring ist verboten, weil es zu ungerechtfertigten Benachteiligungen führen kann, die keine sachliche Grundlage haben oder unverhältnismäßige Auswirkungen auf die betroffenen Personen haben kann.
Es kommt darauf an: Systeme, die ausschließlich auf Profilen oder Persönlichkeitsmerkmalen basieren, um zukünftige Straftaten vorherzusagen, sind verboten, es sei denn, sie stützen sich auf objektive und überprüfbare Fakten. KI-Systeme, die ortsbezogene Analysen durchführen sind hingegen erlaubt.
KI-Systeme, die Gesichtsbilder ungezielt aus dem Internet oder aus Überwachungsmaterial auslesen und speichern, sind verboten, es sei denn, die Verarbeitung erfolgt mit ausdrücklicher Zustimmung oder für rechtmäßige Zwecke.
Nein, KI-Systeme zur Emotionserkennung sind in diesen Kontexten verboten, da ein besonderes Machtungleichgewicht besteht. In anderen Bereichen gelten sie als hochriskant, sind aber grundsätzlich erlaubt.
KI-Systeme, die Personen anhand biometrischer Daten in sensible Kategorien wie Religion oder politische Einstellung einordnen, sind verboten, um Diskriminierung zu vermeiden
Grundsätzlich ja, allerdings gibt es Ausnahmen, wenn die Systeme zur Verhinderung schwerwiegender Bedrohungen oder zur Suche nach vermissten Personen eingesetzt werden. Mitgliedsstaaten müssen den Einsatz vorsehen und strenge Anforderungen und Genehmigungsprozesse beachten.
Die EU-Kommission wird Leitlinien bereitstellen, um Unternehmen und Behörden bei der Identifizierung und Bewertung verbotener KI-Systeme zu unterstützen, allerdings gibt es dafür keine Frist.
Bei Verstößen können Bußgelder in Höhe von bis zu 35 Millionen Euro oder 7% des weltweiten Jahresumsatzes verhängt werden, je nachdem, welcher Betrag höher ist.
Sollten Sie noch Fragen haben, wenden Sie sich gerne an: nicolas.koetter@csw.legal.