1.6 Gesetzgebung

Zentrale Botschaft

• Der EU AI Act ist die Rechtsgrundlage. Das EU-Regelwerk für KI ist seit August 2024 in Kraft und wird bis 2027 schrittweise eingeführt. Es gilt nicht nur für Technologieunternehmen, sondern auch für Schulen.
• KI-Kompetenz ist eine Pflicht, kein Kurs zum Abhaken. Schulen müssen ihr Personal beim Aufbau von KI-Kompetenz unterstützen.
• Mehrere KI-Anwendungen sind vollständig verboten. Darunter: das Ableiten von Emotionen von Schülerinnen und Schülern aus Gesichts- oder Stimmdaten, KI, die die Schutzbedürftigkeit von Kindern ausnutzt, um ihr Verhalten zu verzerren, sowie der Aufbau von Gesichtserkennungsdatenbanken oder das Ableiten von Merkmalen wie Herkunft oder Religion aus biometrischen Daten.
• Das Risiko hängt von der Entscheidung ab, nicht vom Produkt. Gewöhnliche Schreib-, Recherche-, Übersetzungs- und Unterrichtsplanungswerkzeuge sind nicht allein deshalb hochriskant, weil sie in der Schule genutzt werden. Sie werden hochriskant, sobald sie Zulassung, Bildungswege, Prüfungsergebnisse oder Beschäftigungsentscheidungen beeinflussen.
• Nicht alles KI-Generierte braucht eine Kennzeichnung. Die Offenlegungspflicht liegt vor allem beim Anbieter; von Lehrkräften geprüftes Material mit menschlicher redaktioneller Kontrolle ist davon ausgenommen.
• Hochrisiko-KI braucht einen Menschen, der sie außer Kraft setzen kann. Die Ausgabe einer KI ist niemals die endgültige Entscheidung. Sie müssen ihre Grenzen verstehen und in der Lage sein, sie zu ignorieren oder zu überstimmen.
• Der AI Act ergänzt anderes Recht, er ersetzt es nicht. Nationales Datenschutz-, Bildungs-, Arbeits-, Kinderschutz- und Urheberrecht gelten weiterhin daneben.
• Die DSGVO regelt die Daten, nicht nur das Werkzeug. Selbst ein KI-System, das nach dem AI Act unbedenklich ist, kann weiterhin unzulässig sein, wenn es personenbezogene Daten von Schülerinnen, Schülern oder Personal ohne gültige Rechtsgrundlage verarbeitet.

Wenn Sie sich nur einen Satz von dieser Seite merken: Nutzen Sie KI, um Ihr professionelles Urteilsvermögen zu unterstützen, nicht um es zu ersetzen – strengere Regeln gelten, sobald KI dabei hilft, Entscheidungen über Noten, Bildungswege oder Menschen zu treffen.

Der EU AI Act

Der EU AI Act (Verordnung (EU) 2024/1689) ist das einheitliche, risikobasierte Regelwerk der EU für künstliche Intelligenz. Statt einzelne Produkte zu regulieren, klassifiziert er KI-Systeme nach dem von ihnen ausgehenden Risiko und knüpft daran entsprechende Pflichten – von einem vollständigen Verbot für eine kleine Zahl von Praktiken über zusätzliche Pflichten für „hochriskante“ Anwendungen bis hin zu gar keinen besonderen Regeln für alltägliche Werkzeuge. Er gilt unmittelbar in jedem Mitgliedstaat, sowohl für öffentliche als auch für private Organisationen.

Der AI Act wird schrittweise eingeführt. Er gilt seit dem 1. August 2024; seit dem 2. Februar 2025 sind die unten genannten verbotenen Praktiken sowie die Pflicht zum Aufbau von KI-Kompetenz (Art. 4) bereits verbindlich; ab dem 2. August 2026 gilt der Großteil seiner übrigen Bestimmungen.

Wer ist für den Einsatz von KI verantwortlich?

Führt eine Schule ein KI-System ein und kontrolliert es, ist üblicherweise die Schule oder der Schulträger die einsetzende Stelle (Art. 3(4)). Die Lehrkraft ist bei der Nutzung des Werkzeugs nach den Vorgaben der Schule normalerweise keine eigenständige einsetzende Stelle, muss aber dennoch diese Vorgaben sowie alle einschlägigen schulischen und datenschutzrechtlichen Regeln befolgen.

Lehrkräfte müssen wissen, was sie nutzen

Schulen und Schulträger müssen geeignete Maßnahmen ergreifen, um den Aufbau von KI-Kompetenz bei denjenigen zu unterstützen, die in ihrem Auftrag KI-Systeme nutzen (Art. 4). Der AI Act legt kein bestimmtes Kompetenzniveau, Zertifikat oder Schulungsformat fest. Diese hängen vielmehr vom genutzten KI-System, der Art der Nutzung und den möglicherweise betroffenen Personen ab.

KI-Praktiken, die für Schulen vollständig verboten sind

Der AI Act verbietet acht KI-Praktiken vollständig (Art. 5); vier davon sind für Schulen unmittelbar relevant:

1. Der Einsatz von KI-Systemen an Bildungseinrichtungen, um Emotionen oder Absichten aus biometrischen Daten abzuleiten (etwa aus Gesichts- oder Stimmmerkmalen von Schülerinnen und Schülern), ist grundsätzlich verboten. Es bestehen enge Ausnahmen für medizinische oder sicherheitsbezogene Zwecke (Art. 3(39); Art. 5(1)(f)).
2. KI-Systeme, die die Schutzbedürftigkeit einer Person aufgrund ihres Alters (wie bei Kindern), einer Behinderung oder ihrer sozialen oder wirtschaftlichen Situation ausnutzen, um ihr Verhalten in einer Weise zu verzerren, die ihr Schaden zufügt, sind unabhängig von der Absicht verboten (Art. 5(1)(b)).
3. Der Aufbau oder die Erweiterung einer Gesichtserkennungsdatenbank durch ungezieltes Sammeln von Bildern aus dem Internet oder von Videoüberwachungsaufnahmen ist verboten. Das ist relevant, wenn eine Schule ein Gesichtserkennungswerkzeug für die Anwesenheitskontrolle oder die Prüfungsaufsicht in Betracht zieht (Art. 5(1)(e)).
4. Die Nutzung biometrischer Daten zur Kategorisierung von Personen, um geschützte Merkmale wie Herkunft, politische Meinung, Religion oder sexuelle Orientierung abzuleiten, ist verboten. Das ist für jedes biometrische Werkzeug relevant, etwa eine Prüfungsaufsichts-Software, die über ihren angegebenen Zweck hinausgeht (Art. 5(1)(g)).

Muss KI-generierter Inhalt immer gekennzeichnet werden?

Wenn Schülerinnen und Schüler direkt mit einem KI-System interagieren, etwa einem Chatbot, müssen sie darüber informiert werden, dass sie mit KI interagieren. In der Regel ist der Systemanbieter dafür verantwortlich, dies deutlich zu machen (Art. 50(1)).

Schulen und Lehrkräfte müssen Deepfakes oder KI-generierte Texte zu Angelegenheiten von öffentlichem Interesse kennzeichnen, wenn diese im Unterricht verwendet werden (Art. 50(4)). Diese Pflicht entfällt, wenn der KI-generierte Inhalt einer wirksamen menschlichen Überprüfung und redaktionellen Kontrolle unterzogen wurde und eine Person oder Einrichtung die redaktionelle Verantwortung für seine Veröffentlichung übernimmt. Ein KI-gestütztes Arbeitsblatt, das von einer Lehrkraft geprüft wurde, benötigt daher nicht automatisch eine Kennzeichnung.

Wann KI in der Bildung hochriskant wird

Gewöhnliche Schreib-, Übersetzungs-, Recherche- und Unterrichtsplanungswerkzeuge sind nicht allein deshalb hochriskant, weil sie beruflich genutzt werden. Die Einstufung hängt vom vorgesehenen Zweck des Systems ab, nicht einfach davon, welches Produkt verwendet wird (Art. 6 · Anhang III).

KI-Systeme können als hochriskant eingestuft werden, wenn sie dazu bestimmt sind:

Für Lehrkräfte

Für Schulen

über Zugang, Zulassung oder Zuweisung von Schülerinnen und Schülern zu Bildungs- oder Ausbildungseinrichtungen und -programmen zu entscheiden; die Lernergebnisse von Schülerinnen und Schülern zu bewerten oder ihren Lernprozess zu steuern; das angemessene Bildungsniveau zu beurteilen, das eine Schülerin oder ein Schüler erhalten wird oder erreichen kann; oder verbotenes Verhalten von Schülerinnen und Schülern während Prüfungen zu erkennen. (Anhang III, Punkt 3)

Lehrkräfte anzuwerben oder auszuwählen, einschließlich der Vorauswahl von Bewerbungen; über Vertragsbedingungen, Beförderung oder Beendigung eines Lehrkraft-Beschäftigungsverhältnisses zu entscheiden; Aufgaben basierend auf dem Verhalten oder persönlichen Merkmalen einer Lehrkraft zuzuweisen; oder die Leistung von Lehrkräften zu bewerten. (Anhang III, Punkt 4)

Ein begrenztes Prüf- oder Vorbereitungswerkzeug kann ebenfalls außerhalb der Hochrisikokategorie liegen, wenn es eine Entscheidung nicht wesentlich beeinflusst. Ein Bildungssystem, das Personen profiliert, gilt jedoch stets als hochriskant.

Was Hochrisiko-KI für Schulen und Lehrkräfte bedeutet

Die Einstufung eines KI-Systems als hochriskant schließt seine Nutzung an Schulen nicht automatisch aus. Hochrisikosysteme sind jedoch mit Pflichten verbunden (Art. 26):

Diese Pflichten für Hochrisiko-KI im Bildungsbereich gelten ab dem 2. Dezember 2027 — die oben genannten Verbote und die Pflicht zum Aufbau von KI-Kompetenz gelten jedoch bereits heute.

Für Lehrkräfte

Für Schulen

es nur für seinen zugelassenen Zweck nutzen und seine Anweisungen befolgen; seine Ausgabe nicht als endgültige Entscheidung behandeln; seine wesentlichen Grenzen und wahrscheinlichen Fehlerquellen verstehen; auf ein übermäßiges Vertrauen in scheinbar überzeugende Ergebnisse achten; und bereit sein, seine Ausgabe zu verwerfen oder zu überstimmen.

eine kompetente und befugte menschliche Aufsicht sicherstellen; sicherstellen, dass alle Eingabedaten, die ihrer Kontrolle unterliegen, relevant und hinreichend repräsentativ sind; das System überwachen und auf Risiken oder schwerwiegende Vorfälle reagieren; automatisch erzeugte Protokolle mindestens sechs Monate lang aufbewahren, soweit diese Protokolle ihrer Kontrolle unterliegen; und Schülerinnen, Schüler, Lehrkräfte oder betroffene Personen im Voraus informieren, wenn das System an Entscheidungen über sie mitwirkt.

Öffentliche Stellen und private Organisationen, die öffentliche Dienstleistungen erbringen, müssen vor dem Einsatz von Hochrisiko-KI möglicherweise zusätzlich eine Folgenabschätzung zu den Grundrechten durchführen (Art. 27). Öffentliche Behörden und in ihrem Auftrag handelnde Organisationen müssen das System unter Umständen zusätzlich in der EU-Datenbank registrieren (Art. 49). Ob dies in der Verantwortung der Schule oder ihres Trägers liegt, hängt vom jeweiligen nationalen Schulsystem ab.

Der AI Act ist nicht das einzige relevante Recht

Der AI Act ersetzt nicht die europäischen oder nationalen Regelungen zu Datenschutz, Bildung, Beschäftigung und Mitbestimmung, Kinderschutz oder Urheberrecht (Art. 2(7)). So bedeutet die Tatsache, dass ein Werkzeug nicht hochriskant ist, beispielsweise nicht, dass Sie Arbeiten oder personenbezogene Daten von Schülerinnen und Schülern dort hochladen dürfen.

Ein Werkzeug kann nach dem AI Act zulässig sein und dennoch durch Datenschutzrecht oder die Regeln Ihrer Schule verboten sein.

Die DSGVO

Die DSGVO (Verordnung (EU) 2016/679) ist das Datenschutzrecht der EU. Sie spielt eine ergänzende Rolle neben dem AI Act: Während der AI Act fragt, ob und wie ein KI-System überhaupt genutzt werden darf, fragt die DSGVO, ob genau diese Daten über genau diese Person auf diese Weise verarbeitet werden dürfen.

• Sie gilt, sobald personenbezogene Daten betroffen sind. Namen, schulische E-Mail-Adressen, Schülerarbeiten, Sprachaufnahmen, Mitschriften, Fotos, Noten, Anwesenheits- und Lernfortschrittsdaten zählen alle als personenbezogene Daten (Art. 4).
• Manche Daten benötigen zusätzlichen Schutz. Gesundheitsdaten, biometrische Daten sowie Daten, die Herkunft, Religion oder ähnliche Merkmale offenbaren, sind „besondere Kategorien personenbezogener Daten“ und grundsätzlich ohne eine spezifische Ausnahme unzulässig (Art. 9) — ein Grund, warum der AI Act mehrere biometrische Ableitungspraktiken an Schulen gesondert verbietet.
• Wissen, wer verantwortlich ist. Die Schule ist normalerweise der „Verantwortliche“; ein KI-Anbieter, der Daten im Auftrag der Schule verarbeitet, ist ein „Auftragsverarbeiter“ und benötigt eine Auftragsverarbeitungsvereinbarung, die seine Pflichten festlegt (Art. 28). Prüfen Sie dies, bevor Sie ein neues Werkzeug schulweit einführen.
• Daten, die die EU verlassen, benötigen eine Schutzmaßnahme. Viele beliebte KI-Werkzeuge werden außerhalb der EU gehostet. Personenbezogene Daten dürfen dorthin nur übermittelt werden, wenn ein Angemessenheitsbeschluss oder eine andere anerkannte Schutzmaßnahme, etwa Standardvertragsklauseln, vorliegt (Art. 44).
• Schülerinnen, Schüler und Personal behalten ihre Rechte. Sie können erfragen, welche Daten über sie gespeichert sind, deren Berichtigung oder Löschung verlangen und Entscheidungen widersprechen, die allein auf automatisierter Verarbeitung beruhen und sie erheblich betreffen (Art. 15–Art. 22) — ein Recht, das neben den Anforderungen des AI Acts an die menschliche Aufsicht bei Hochrisikosystemen besteht und diese verstärkt.

Wo Sie Hilfe finden

Die Durchsetzung ist in jedem EU-Land unterschiedlich organisiert. Da sich nationale Zuständigkeiten ändern können, nutzen Sie die aktuelle Liste der nationalen Marktüberwachungsbehörden der Europäischen Kommission. Jede Person (eine Lehrkraft, eine Schülerin oder ein Schüler, ein Elternteil) kann bei dieser Behörde eine Beschwerde einreichen, wenn sie der Ansicht ist, dass gegen den AI Act verstoßen wurde (Art. 85). Hat ein Hochrisikosystem, etwa ein Zulassungs- oder Prüfungsaufsichtswerkzeug, zu einer Entscheidung geführt, die eine Schülerin oder einen Schüler erheblich betrifft, können diese (oder ihre Eltern) außerdem eine Erklärung zu dieser individuellen Entscheidung verlangen (Art. 86).

Nationale Regelungen für Ihr Land

Der AI Act gilt EU-weit, doch Durchsetzungsstellen, Schulrecht und datenschutzrechtliche Praxis unterscheiden sich von Land zu Land. Länderspezifische Hinweise für die Partnerländer des Playbooks werden hier ergänzt:

• Österreich
• Tschechien
• Deutschland
• Lettland
• Slowakei
• Slowenien
• Spanien