Der AI Act der EU - ein Leitfaden

Wir haben das bahnbrechende KI-Gesetz der EU und seine wichtigsten Bestimmungen für Sie zusammengefasst. Hier finden Sie auch einen Zeitplan betreffend die Einhaltung der neuen KI-Regeln:

Was ist der AI Act?

Der EU-Gesetzesakt zur Künstlichen Intelligenz ist die neue Flaggschiff-Verordnung der EU zur Künstlichen Intelligenz. Der endgültige Text des AI Acts wurde am 12. Juli 2024 im EU-Amtsblatt veröffentlicht. Nach seinem Inkrafttreten am 1. August 2024 wird der AI Act erhebliche Auswirkungen auf Organisationen haben, die KI entwickeln oder nutzen, sowohl in der EU als auch darüber hinaus.

Der AI Act wird Organisationen, die KI-Systeme in der EU entwickeln, nutzen, vertreiben oder importieren, risiko- und technologiebasierte Verpflichtungen auferlegen, die bei Nichteinhaltung hohe Geldbußen (bis zu 35 Millionen Euro oder 7 % des weltweiten Jahresumsatzes) zur Folge haben können.

Wie wird der AI Act angewendet?

Die Anwendung des AIA hängt von der jeweiligen KI-Technologie, dem Anwendungsfall und der Rolle des Betreibers ab. Der Ansatz ist weitgehend risikobasiert und grob wie folgt zusmmengefasst werden:

• KI-Systeme für bestimmte Verwendungszwecke werden verboten.
• Bestimmte KI-Systeme werden als KI-Systeme mit hohem Risiko eingestuft und unterliegen umfangreichen Verpflichtungen, insbesondere für Anbieter.
• Für Allzweck-KI-Modelle wird es spezifische Bestimmungen geben. Diese Modelle werden unabhängig vom Anwendungsfall reguliert.
• Andere KI-Systeme gelten als risikoarm. Diese KI-Systeme unterliegen nur begrenzten Transparenzpflichten, wenn sie mit Einzelpersonen interagieren.

Ab wann gilt der AI Act?

Der AI Act wurde am 12. Juli 2024 im EU-Amtsblatt veröffentlicht und trat am 1. August 2024 (d. h. 20 Tage nach der Veröffentlichung) in Kraft.

Die meisten Bestimmungen des AI Acts gelten nach einer zweijährigen Umsetzungsfrist (d. h. ab dem 1. August 2026). Während dieses Zeitraums werden verschiedene unterstützende delegierte Rechtsvorschriften, Leitlinien und Standards veröffentlicht, um die Einhaltung des AI Acts zu erleichtern.

Dieser Zweijahreszeitraum unterliegt einigen wichtigen Ausnahmen: Die Verbote für bestimmte KI-Systeme und die Anforderungen an die KI-Kompetenz gelten nach sechs Monaten (d. h. ab dem 1. Februar 2025), während die Anforderungen an Allzweck-KI-Systeme nach zwölf Monaten (d. h. ab dem 1. August 2025) gelten.

Definition von KI-Systemen

Die meisten Verpflichtungen im Rahmen des AI Acts betreffen KI-Systeme.

Die Definition eines KI-Systems ist weit gefasst: „ein maschinelles System, das für den Betrieb mit unterschiedlichen Autonomiegraden ausgelegt ist und nach der Bereitstellung Anpassungsfähigkeit aufweisen kann und das für explizite oder implizite Ziele aus den eingehenden Daten ableitet, wie Ergebnisse wie Vorhersagen, Inhalte, Empfehlungen oder Entscheidungen generiert werden können, die physische oder virtuelle Umgebungen beeinflussen können“.

Für bestimmte Allzweck-KI-Modelle, die einer Vielzahl unterschiedlicher KI-Systeme zugrunde liegen können, gelten gesonderte Verpflichtungen.

Verbotene KI-Systeme

Der AI Act wird die Nutzung bestimmter Arten von KI-Systemen verbieten. Zu den Verboten gehören (unter anderem):

• Bestimmte KI-Systeme zur biometrischen Kategorisierung und Identifizierung, einschließlich solcher zum ungezielten Abschöpfen von Gesichtsdaten aus dem Internet.
• KI-Systeme, die unterschwellige Techniken einsetzen, Schwachstellen ausnutzen oder menschliches Verhalten manipulieren, um Grundrechte zu umgehen oder physischen oder psychischen Schaden zu verursachen.
• KI-Systeme zur Emotionserkennung in der Strafverfolgung, im Grenzschutz, am Arbeitsplatz und im Bildungswesen.
• KI-Systeme zur sozialen Bewertung oder Klassifizierung von natürlichen Personen oder Personengruppen über einen bestimmten Zeitraum auf der Grundlage ihres Sozialverhaltens.

Hochrisiko-KI-Systeme

Die strengsten regulatorischen Verpflichtungen im Rahmen des AI Acts gelten für KI-Systeme mit hohem Risiko (so genannte High-Risk AI Systems bw. HRAIS). Dabei handelt es sich um KI-Systeme in Bereichen, die unter die bestehenden EU-Rechtsvorschriften zur Produktsicherheit fallen, sowie um solche, die für bestimmte Zwecke eingesetzt werden sollen, insbesondere in den folgenden Bereichen:

• KI-Systeme, die als Sicherheitskomponenten bei der Verwaltung und dem Betrieb wesentlicher öffentlicher Infrastrukturen eingesetzt werden, z. B. Wasser-, Gas- und Stromversorgung.
• KI-Systeme, die zur Bestimmung des Zugangs zu Bildungseinrichtungen oder zur Bewertung von Studierenden eingesetzt werden, z. B. KI-Systeme zur Benotung von Prüfungen.
• KI-Systeme, die bei der Einstellung und Beschäftigung eingesetzt werden, z. B. für die Schaltung von Stellenanzeigen, die Bewertung von Kandidaten oder die Prüfung von Bewerbungen, Beförderungs- oder Kündigungsentscheidungen oder bei der Überprüfung der Arbeit.
• KI-Systeme, die im Migrations-, Asyl- und Grenzkontrollmanagement oder in verschiedenen anderen Strafverfolgungs- und Justizkontexten eingesetzt werden.
• KI-Systeme, die zur Beeinflussung des Ergebnisses demokratischer Prozesse oder des Wahlverhaltens von Wählern eingesetzt werden.
• KI-Systeme, die im Versicherungs- und Bankensektor eingesetzt werden.

Die Liste der KI-Systeme mit hohem Risiko ist nicht abschließend und kann in Zukunft ergänzt werden, wenn weitere KI-Anwendungen mit hohem Risiko auftauchen.

Die unten zusammengefassten Verpflichtungen für KI-Systeme mit hohem Risiko gelten in erster Linie für Anbieter von KI-Systemen und nicht für andere Betreiber. Anbieter sind wahrscheinlich diejenigen, die ein KI-System entwickeln oder beschaffen, um es unter ihrem eigenen Namen oder ihrer eigenen Marke auf den Markt zu bringen oder in Betrieb zu nehmen.

Andere Betreiber (einschließlich Anwender, Händler und Importeure) unterliegen ebenfalls geringeren Verpflichtungen. Andere Betreiber können unter bestimmten Umständen auch als Anbieter gelten, z. B. wenn sie ein KI-System mit hohem Risiko wesentlich verändern oder es in ihrem eigenen Namen in Betrieb nehmen.

Anbieter von KI-Systemen mit hohem Risiko unterliegen umfangreichen materiellen Verpflichtungen in Bezug auf diese KI-Systeme, insbesondere folgende:

• Risikomanagementsystem: Einführung von Verfahren für den gesamten Lebenszyklus des KI-Systems zur Identifizierung, Analyse und Minderung von Risiken.
• Daten und Maßnahmen zur Datenverwaltung: Schulungen und Tests von KI-Systemen müssen in Übereinstimmung mit strengen Maßnahmen zur Datenverwaltung durchgeführt werden.
• Technische Dokumentation: Erstellung eines umfassenden „Handbuchs“ für das KI-Sstem, das spezifische Mindestinformationen enthält.
• Aufbewahrung von Unterlagen: KI-Systeme mit hohem Risiko müssen so konzipiert sein, dass eine automatische Protokollierung von Ereignissen, einschließlich z. B. der Nutzungsdauer und der Eingabedaten, gewährleistet ist. Diese müssen von den Anbietern für festgelegte Zeiträume aufbewahrt werden.
• Transparenz: KI-Systeme mit hohem Risiko müssen mit einer Gebrauchsanweisung versehen sein, die detaillierte Informationen über ihre Eigenschaften, Fähigkeiten und Grenzen enthält.
• Menschliche Aufsicht: KI-Systeme mit hohem Risiko müssen so konzipiert sein, dass sie von Menschen beaufsichtigt werden können, die verschiedene Anforderungen erfüllen sollten, z. B. die Fähigkeit, das KI-System zu verstehen („KI-Alphabetisierung“) und ihre Nutzung zu stoppen.
• Genauigkeit, Robustheit und Cybersicherheit: KI-Systeme mit hohem Risiko müssen genau sein (mit Genauigkeitskennzahlen in der Gebrauchsanweisung), widerstandsfähig gegen Fehler oder Inkonsistenzen (z. B. durch ausfallsichere Pläne) und widerstandsfähig gegen Cyberangriffe.
• Qualitätsmanagementsystem: Anbieter von KI-Systemen mit hohem Risiko müssen ein umfassendes Qualitätsmanagementsystem einrichten.
• Überwachung nach dem Inverkehrbringen: Anbieter von KI-Systemen mit hohem Risiko müssen ein System zur Erfassung und Analyse der von den Nutzern bereitgestellten Daten über die Leistung des KI-Systems während seiner gesamten Lebensdauer dokumentieren.

Anbieter von KI-Systemen mit hohem Risiko unterliegen außerdem verschiedenen Verfahrenspflichten, bevor sie ein derartiges KI-System bereitstellen dürfen:

• CE-Kennzeichnung: Anbieter müssen sicherstellen, dass ihr KI-System vor der Bereitstellung einem Konformitätsbewertungsverfahren unterzogen wird, und auf ihrer Dokumentation eine CE-Kennzeichnung anbringen.
• Registrierung in EU-Datenbank: Anbieter und öffentliche Stellen, die KI-Systeme mit hohem Risiko verwenden, müssen das System in einer EU-weiten Datenbank für KI-Systeme registrieren.
• Berichtspflicht: Anbieter von KI-Systemen mit hohem Risiko müssen schwerwiegende Vorfälle oder Fehlfunktionen im Zusammenhang mit ihrem KI-System innerhalb von 15 Tagen einer zuständigen Behörde melden.

Andere Betreiber von KI-Systemen mit hohem Risiko unterliegen eingeschränkteren Verpflichtungen, wie z. B. der Durchführung von Grundrechtsfolgenabschätzungen, der Sicherstellung, dass sie das System gemäß den Gebrauchsanweisungen verwenden, der Überwachung des Betriebs und der Führung von Aufzeichnungen über die vom KI-System erzeugten Protokolle (sofern sie die Kontrolle darüber haben).

Allzweck-KI-Systeme

KI-Technologien, die nicht verboten sind oder ein hohes Risiko darstellen, unterliegen wesentlich weniger strengen regulatorischen Anforderungen.

Die strengsten anderen Anforderungen im Rahmen des AI Acts gelten für Allzweck-KI-Systeme (General-Purpose AI bzw. GPAI). Die Anforderungen für die meisten Allzweck-KI-Modelle, zu denen auch Fundamentmodelle und generative KI-Modelle gehören, konzentrieren sich hauptsächlich auf Transparenz.

Zu den Verpflichtungen für alle Allzweck-KI-Systeme gehören die Erstellung technischer Dokumentationen, die Einhaltung des EU-Urheberrechts und die Bereitstellung von Zusammenfassungen der Trainingsdaten.

Der endgültige Text enthält zusätzliche Anforderungen für Allzweck-KI-Systeme, die auf umfangreichen Datensätzen trainiert werden und eine überlegene Leistung aufweisen; dies basiert auf den potenziellen systemischen Risiken, die diese KI-Modelle in der gesamten Wertschöpfungskette darstellen können (Allzweck-KI-Systeme mit systemischem Risiko).

Jedes Allzweck-KI-Modell mit systemischem Risiko wird zusätzlichen Anforderungen unterliegen, die voraussichtlich Folgendes umfassen werden:

• Strenge Modellbewertungen, einschließlich Adversarial Testing/Red-Teaming.
• Bewertung und Minderung möglicher systemischer Risiken durch den Einsatz des Allzweck-KI-Systems.
• Stärkere Berichtspflichten gegenüber den Aufsichtsbehörden, insbesondere bei schwerwiegenden Vorfällen.
• Gewährleistung einer angemessenen Cybersicherheit für das Allzweck-KI-System mit systemischem Risiko.
• Berichterstattung über die Energieeffizienz des Allzweck-KI-Systems.

Andere KI-Systeme

Abgesehen von den oben genannten Punkten und zwei spezifischen Ausnahmen (Militär oder Verteidigung; Forschung und Innovation) besteht die einzige verbindliche Anforderung für andere KI-Systeme in einer begrenzten Transparenzpflicht: Anbieter müssen sicherstellen, dass KI-Systeme, die für die Interaktion mit Einzelpersonen vorgesehen sind, so konzipiert und entwickelt werden, dass einzelne Benutzer wissen, dass sie mit einem KI-System interagieren.

Es besteht jedoch eine allgemeine Verpflichtung für alle Anwender und Anbieter von KI-Systemen, sicherzustellen, dass ihr Personal, das mit dem Betrieb und der Nutzung von KI-Systemen befasst ist, über ausreichende KI-Kenntnisse verfügt. Das angemessene Niveau der KI-Kenntnisse hängt von der Ausbildung, dem Fachwissen und den technischen Kenntnissen des Personals sowie vom Kontext ab, in dem die betreffenden KI-Systeme eingesetzt werden sollen.

Sanktionen bzw. Strafen

Die im Rahmen des AI Acts zu verhängenden Strafen können sehr hoch sein und zwischen 7,5 Mio. EUR (oder 1,5 % des weltweiten Jahresumsatzes) und 35 Mio. EUR (oder 7 % des weltweiten Jahresumsatzes) für das vorangegangene Geschäftsjahr liegen, je nach (i) Art des Verstoßes und (ii) Größe des Unternehmens.