1.6 Legislativa

Shrnutí

• Právním základem je Akt o UI Evropské unie. Pravidla EU pro UI platí od srpna 2024 a postupně nabývají účinnosti až do roku 2027. Vztahují se nejen na technologické společnosti, ale i na školy.
• Gramotnost v oblasti UI je povinností, ne kurzem k odškrtnutí. Školy musí svým zaměstnancům pomáhat budovat gramotnost v oblasti UI.
• Několik způsobů použití UI je zcela zakázáno. Mimo jiné: odvozování emocí žáků z mimiky nebo hlasových dat, UI zneužívající zranitelnost dětí ke zkreslení jejich chování a budování databází pro rozpoznávání obličejů nebo odvozování znaků, jako je rasa či náboženství, z biometrických údajů.
• Riziko závisí na rozhodnutí, nikoli na produktu. Běžné nástroje pro psaní, research, překlad a přípravu hodin nejsou vysoce rizikové jen proto, že se používají ve škole. Vysoce rizikovými se stávají ve chvíli, kdy ovlivňují přijetí, vzdělávací dráhu, výsledky zkoušek nebo pracovní rozhodnutí.
• Ne všechno, co vytvoří UI, musí být označeno. Povinnost informovat leží především na poskytovateli; materiál zkontrolovaný učitelem s lidskou redakční kontrolou je z této povinnosti vyňat.
• Vysoce rizikové systémy UI vyžadují člověka, který je může přehlasovat. Výstup UI nikdy není konečným rozhodnutím. Musíte rozumět jeho omezením a být schopni jej odmítnout nebo přehlasovat.
• Akt o UI stojí nad ostatními zákony, nenahrazuje je. Vnitrostátní právo na ochranu osobních údajů, školské, pracovní právo, právo na ochranu dětí a autorské právo platí i nadále souběžně s ním.
• GDPR upravuje data, nikoli jen nástroj. I systém UI, který je v pořádku podle Aktu o UI, může být nadále nepřípustný, pokud zpracovává osobní údaje žáků nebo zaměstnanců bez platného právního základu.

Pokud si z této stránky máte zapamatovat jen jednu větu: Používejte UI na podporu svého odborného úsudku, nikoli jako jeho náhradu – přísnější pravidla platí, jakmile UI pomáhá rozhodovat o známkách, vzdělávací dráze nebo o lidech.

Akt EU o umělé inteligenci

Akt EU o umělé inteligenci (nařízení (EU) 2024/1689) je jednotný, na riziku založený předpisový rámec EU pro umělou inteligenci. Namísto regulace konkrétních produktů klasifikuje systémy UI podle rizika, které představují, a podle toho k nim přiřazuje povinnosti – od naprostého zákazu u malé skupiny praktik, přes dodatečné povinnosti pro „vysoce rizikové“ použití, až po žádná zvláštní pravidla pro běžné nástroje. Platí přímo ve všech členských státech, a to jak pro veřejné, tak pro soukromé subjekty.

Akt nabývá účinnosti postupně. Platí od 1. srpna 2024; od 2. února 2025 jsou již závazné níže uvedené zakázané praktiky a povinnost budovat gramotnost v oblasti UI (čl. 4); od 2. srpna 2026 se uplatní většina jeho zbývajících ustanovení.

Kdo odpovídá za používání UI?

Pokud škola zavádí a řídí systém UI, je zpravidla zavádějícím subjektem škola nebo školský orgán (čl. 3 odst. 4). Učitel obvykle není samostatným zavádějícím subjektem, pokud nástroj používá podle pokynů školy, musí se však i tak řídit těmito pokyny a všemi příslušnými školními pravidly a pravidly ochrany osobních údajů.

Učitelé musí vědět, co používají

Školy a školské orgány musí přijmout vhodná opatření na podporu rozvoje gramotnosti v oblasti UI u osob, které jejich jménem systémy UI používají (čl. 4). Akt o UI nestanovuje konkrétní úroveň způsobilosti, certifikát ani formu školení. Ty spíše závisí na použitém systému UI, způsobu jeho použití a na tom, koho se to může dotknout.

Praktiky UI zcela zakázané pro školy

Akt o UI zcela zakazuje osm praktik v oblasti UI (čl. 5); čtyři z nich se přímo týkají škol:

1. Používání systémů UI ve vzdělávacích institucích k odvozování emocí nebo záměrů z biometrických údajů (jako jsou mimika nebo hlasové charakteristiky žáků) je obecně zakázáno. Existují úzké výjimky pro lékařské účely nebo účely bezpečnosti (čl. 3 odst. 39; čl. 5 odst. 1 písm. f).
2. Systémy UI, které zneužívají něčí zranitelnost danou věkem (jako u dětí), zdravotním postižením nebo sociální či ekonomickou situací, způsobem, který zkresluje jejich chování a způsobuje jim újmu, jsou zakázány bez ohledu na záměr (čl. 5 odst. 1 písm. b).
3. Budování nebo rozšiřování databáze pro rozpoznávání obličejů necíleným stahováním obrázků z internetu nebo z kamerových záznamů je zakázáno. To je relevantní, pokud škola zvažuje nástroj pro rozpoznávání obličejů pro účely docházky nebo dohledu při zkouškách (čl. 5 odst. 1 písm. e).
4. Používání biometrických údajů ke kategorizaci osob za účelem odvození chráněných znaků, jako je rasa, politické názory, náboženství nebo sexuální orientace, je zakázáno. To je relevantní pro jakýkoli nástroj založený na biometrii, například software pro dohled nad zkouškami, který jde nad rámec svého deklarovaného účelu (čl. 5 odst. 1 písm. g).

Musí být obsah vytvořený UI vždy označen?

Pokud žáci komunikují přímo se systémem UI, například s chatbotem, musí být informováni, že komunikují s UI. Za jasné sdělení této skutečnosti obvykle odpovídá poskytovatel systému (čl. 50 odst. 1).

Školy a učitelé musí označit deepfake obsah nebo text vytvořený UI publikovaný k záležitostem veřejného zájmu, pokud jsou tyto materiály použity ve výuce (čl. 50 odst. 4). Tento požadavek se neuplatní tam, kde obsah vytvořený UI prošel účinnou lidskou kontrolou nebo redakčním dohledem a za jeho zveřejnění přebírá redakční odpovědnost konkrétní osoba nebo instituce. Pracovní list vytvořený s pomocí UI a zkontrolovaný učitelem tedy automaticky označení nevyžaduje.

Kdy se UI ve vzdělávání stává vysoce rizikovou

Běžné nástroje pro psaní, překlad, research a přípravu hodin nejsou vysoce rizikové jen proto, že se používají v rámci práce. Klasifikace závisí na zamýšleném účelu systému, nikoli jen na tom, o jaký produkt jde (čl. 6 · Příloha III).

Systémy UI mohou být klasifikovány jako vysoce rizikové, pokud jsou určeny k tomu, aby:

Pro učitele	Pro školy
rozhodovaly o přístupu, přijetí nebo zařazení žáků do vzdělávacích nebo odborných institucí a programů; hodnotily výsledky učení žáků nebo řídily jejich vzdělávací postup; posuzovaly odpovídající úroveň vzdělání, kterou žák obdrží nebo ke které může mít přístup; nebo odhalovaly zakázané chování žáků během zkoušek. (Příloha III, bod 3)	najímaly nebo vybíraly učitele, včetně prověřování žádostí o zaměstnání; rozhodovaly o smluvních podmínkách, povýšení nebo ukončení pracovního poměru učitele; přidělovaly úkoly na základě chování nebo osobních vlastností učitele; nebo hodnotily výkon učitelů. (Příloha III, bod 4)

Omezený kontrolní nebo přípravný nástroj může spadat mimo kategorii vysoce rizikových i tehdy, pokud nemá významný vliv na rozhodnutí. Vzdělávací systém, který profiluje jednotlivce, je však vždy považován za vysoce rizikový.

Co vysoce rizikové UI znamená pro školy a učitele

Klasifikace systému UI jako vysoce rizikového automaticky nevylučuje jeho použití ve školách. Vysoce rizikové systémy s sebou ale nesou povinnosti (čl. 26):

Tyto povinnosti pro vysoce rizikovou UI ve vzdělávání se uplatní od 2. prosince 2027 – výše uvedené zákazy a povinnost gramotnosti v oblasti UI však platí už dnes.

Pro učitele

Pro školy

používat jej pouze pro schválený účel a řídit se jeho pokyny; nezacházet s jeho výstupem jako s konečným rozhodnutím; rozumět jeho hlavním omezením a pravděpodobným zdrojům chyb; dávat pozor na nadměrné spoléhání se na zdánlivě přesvědčivé výsledky; a být připraveni jeho výstup odmítnout nebo přehlasovat.

zajistit odborný a oprávněný lidský dohled; zajistit, aby veškerá vstupní data pod jejich kontrolou byla relevantní a dostatečně reprezentativní; monitorovat systém a reagovat na rizika nebo závažné incidenty; uchovávat automaticky generované záznamy po dobu nejméně šesti měsíců tam, kde jsou tyto záznamy pod jejich kontrolou; a předem informovat žáky, učitele nebo dotčené osoby, pokud systém napomáhá rozhodování, které se jich týká.

Veřejné subjekty a soukromé organizace poskytující veřejné služby mohou být rovněž povinny provést před použitím vysoce rizikové UI posouzení dopadu na základní práva (čl. 27). Orgány veřejné moci a organizace jednající jejich jménem mohou být navíc povinny zaregistrovat systém v databázi EU (čl. 49). Zda je to odpovědností školy, nebo jejího zřizovatele, závisí na konkrétním vnitrostátním školském systému.

Akt o UI není jediným rozhodným právním předpisem

Akt o UI nenahrazuje evropské ani vnitrostátní předpisy o ochraně osobních údajů, vzdělávání, zaměstnanosti a participaci zaměstnanců, ochraně dětí nebo autorském právu (čl. 2 odst. 7). Skutečnost, že nástroj není vysoce rizikový, například neznamená, že do něj smíte nahrávat práci nebo osobní údaje žáků.

Nástroj může být přípustný podle Aktu o UI, a přesto být zakázán právem na ochranu osobních údajů nebo pravidly vaší školy.

GDPR

GDPR (nařízení (EU) 2016/679) je právní předpis EU o ochraně osobních údajů. Hraje doplňkovou roli vedle Aktu o UI: zatímco Akt o UI se ptá, zda a jak smí být systém UI vůbec použit, GDPR se ptá, zda smí být právě tento konkrétní údaj o této konkrétní osobě takto zpracován.

• Uplatní se, jakmile jsou zapojeny osobní údaje. Za osobní údaje se považují jména, školní e-mailové adresy, žákovské práce, hlasové nahrávky, přepisy, fotografie, známky, docházka i údaje o vzdělávacím pokroku (čl. 4).
• Některá data vyžadují zvláštní ochranu. Informace o zdraví, biometrické údaje a údaje odhalující rasový nebo etnický původ, náboženství či podobné znaky jsou „zvláštní kategorií údajů“ a jejich zpracování je v zásadě nepřípustné bez konkrétní výjimky (čl. 9) – to je i jeden z důvodů, proč Akt o UI samostatně zakazuje několik praktik biometrického odvozování ve školách.
• Vězte, kdo za co odpovídá. Škola je zpravidla „správcem“; poskytovatel UI, který zpracovává data jejím jménem, je „zpracovatelem“ a potřebuje smlouvu o zpracování údajů, která jasně stanoví jeho povinnosti (čl. 28). Ověřte si to předtím, než nový nástroj zavedete v celé škole.
• Data opouštějící EU potřebují záruku. Mnoho oblíbených nástrojů UI je hostováno mimo EU. Osobní údaje tam smí putovat pouze tehdy, pokud existuje rozhodnutí o odpovídající ochraně nebo jiná schválená záruka, jako jsou standardní smluvní doložky (čl. 44).
• Žáci i zaměstnanci si zachovávají svá práva. Mohou se zeptat, jaké údaje jsou o nich vedeny, nechat si je opravit nebo vymazat a vznést námitku proti rozhodnutím založeným výhradně na automatizovaném zpracování, která se jich významně dotýkají (čl. 15 až čl. 22) – toto právo funguje souběžně s požadavky Aktu o UI na lidský dohled u vysoce rizikových systémů a tyto požadavky posiluje.

Kde hledat pomoc

Vymáhání je v jednotlivých zemích EU organizováno odlišně. Protože se vnitrostátní odpovědnosti mohou měnit, používejte aktuální seznam vnitrostátních orgánů dohledu nad trhem vedený Evropskou komisí. Kdokoli (učitel, žák, rodič) může u tohoto orgánu podat stížnost, pokud se domnívá, že byl Akt porušen (čl. 85). Pokud vysoce rizikový systém, například nástroj pro přijímací řízení nebo dohled při zkouškách, vedl k rozhodnutí, které žáka významně ovlivňuje, může on (nebo jeho rodiče) rovněž požádat o vysvětlení tohoto konkrétního rozhodnutí (čl. 86).

Vnitrostátní pravidla pro vaši zemi

Akt o UI platí v celé EU, ale orgány dohledu, školské právo a praxe ochrany osobních údajů se v jednotlivých zemích liší. Zde budou postupně doplněny poznámky specifické pro partnerské země Playbooku:

• Rakousko
• Česko
• Německo
• Lotyšsko
• Slovensko
• Slovinsko
• Španělsko