1.6 Legislation
EuropeanThe LegislationEU AI Act
Der EU AI Act, als der einheitliche Rechtsrahmen für Künstliche Intelligenz der EU, trat am 01.08.2024 offiziell in Kraft. Der Rechtsrahmen teilt KI-Systeme nach deren Risiko für die menschliche Gesundheit, Sicherheit und Grundrechte ein und reguliert deren Einsatz entsprechend dieser Einteilung. Die für Schulen und Lehrkräfte zentralen Regelungen in a nutshell:
Pflichten
Schulen oder Lehrkräfte gelten nach dem EU AI Act als KI-Betreiber. Sie sind entsprechend für den ordnungsgemäßen und verantwortungsbewussten Einsatz bzw. Betrieb des KI-Systems verantwortlich. Das bedeutet, die KI gemäß der durch die KI-Anbeiter (e.g., Softwareunternehmen) mitgelierferten Betriebsanleitung zu nutzen und die menshcliche Aufsicht sicherzustellen.
KI-Fortbildung (§4): Schulleitungen sind gesetzlich dazu verpflichtet Maßnahmen zu ergreifen, um sicherzustellen dass Lehrkräfte und Verwaltung, die KI-Systemen im Rahmen ihrer Arbeit einsetzen über ein "ausreichendes Maß an KI-Kompetenz" verfügen. KI-Fortbildungen sind entsprechend für den rechtskonformen Einsatz von KI eine verpflichtende Voraussetzung. Während angemessene KI-Kompetenz nach dem AI Act mit dem jeweiligen Eisnatzkontext etc. abhängt, wird ausdrücklich ein grundlegendes technisches Verständnis der FUnktionsweise von KI-Systemen als Teil dessen beschrieben, da dieses notwendig ist, um eine verantwortliche Überwachung und Risikobeurteilung beim Einsatz von Hochrisikosystemen zu gewährleisten.
Infromations- bzw. Transparenzpflicht (§26): Bei der Interaktion mit KI-Systemen (z.B. Chatbot) oder KI-generierten Inhalten (z.B. bei Lehr-Lernmaterialien) muss der KI-Hintergrund klar offengelegt werden.
Registrierungspflicht (§49): Schulen, Hochrisikosysteme betreiben, müssen sich und das verwendete System in einer öffentlichen EU-Datenbank für Hochrisiko-KI-Systeme registrieren.
Grundrechte-Folgeabschätzung (§27): Vor dem Einsatz eines Hochrisikosystems, muss eine formale Abschätzung spezifischer Risiken bzw. Auswirkungen auf die Grundrecht aller betroffenen Personengruppen (Lehrkräfte, Eltern, SchülerInnen) durchgeführt werden. Entsprechend müssen Abhilfemaßnahmen dokumentiert werden. Ergebnisse dieser Abschätzung sind an nationale Marktüberwachungsbehörden zu übermitteln.
Interne Zuständigkeiten: Schulen müssen intern Zuständigkeiten für die menschliche Aufsicht und das Risikomanagement festlegen.
Verbote
Verboten: KI zur "flächendeckenden" bzw. klassenübergreifenden Emotionserkennung in Schulen grundsätzlich verboten (ausgenommen sind medizinische oder sicherheitstechnische Gründe)
Hochrisikosysteme: sobald KI-Systeme einen Einfluss auf Benotung oder Bewertung jeglicher Art nehmen (und damit den Bildungszugang potenziell beeinflussen), oder wenn sie ein Profiling vornehmen, gelten sie als Hochrisikosysteme - Dafür
Solche System dürfen zwar eingesetzt werden, aber es muss sichergestellt werden, dass sie
(1) Strikt nach Betriebsanleitung verwendet werden,
(2) die eingespeisten Daten (z.B. Schülerarbeiten) relevant und ausreichend repräsentativ für den Bewertungszweck (§26, Abs. 4) sind,
(3) jegliche Ausgabe des Systems unter qualifizierter menschlicher Aufsicht (durch die Lehrkraft) geprüftgeprüft/überwacht wird und(§14 & 26),
(4) von dem KI-System erzeugte Protokolle (3)sogenannte Logs) für mindestens sechs Monate aufbewahrt werden (§26) und
(5) die SchülerInnen über den Einsatz der Systeme akiv informiert werden.
Ausnahme: Ein System, das für die Bewertung/Benotung verwendet wird, gilt ausnahmsweise NICHT als Hochrisikosystem, wenn es lediglich als ein Korrektiv ohne Profiling eignesetzt wird - wenn es also dazu dient Entschiedungsmuster oder Abweichungen von früheren Entscheidungen zu erkennen und darauf aufmerksam zu machen.
Transparenzpflicht: Bei der Interaktion mit KI-Systemen (z.B. Chatbot) oder KI-generierten Inhalten (z.B. bei Lehr-Lernmaterialien) muss der KI-Hintergrund klar offengelegt werden.
Zusammenspiel mit nationalem Recht: Der EU AI Act lässt bestehende nationale Gesetze ausdrücklich unberührt und verweist auf diese. Das bedeutet, dass nationale Rechtsvorschriften (z.B. zum Datenschutz, Schutz von Minderjährigen oder Arbeitnehmerschutzrechte für Lehrkräfte) weiterhin zu berücksichtigengültig sind. Hier verlinken bzw. verweisen auf die nationalen Erweiterungen
Voraussichtlich national zuständige Marktüberwachungsbehörden: