Skip to main content

1.6 Legislativa

Upozornění: Přestože jsme tuto kapitolu připravili s maximální pečlivostí, právní předpisy upravující využívání AI se rychle vyvíjejí. Od vydání této příručky mohlo dojít ke změnám, proto si vždy ověřte aktuální právní úpravu a zohledněte příslušné předpisy platné ve vaší zemi. Informace uvedené v této kapitole nenahrazují odborné právní poradenství.

Shrnutí

  • Právním základem je Akt o AI Evropské unie. Pravidla EU pro AI platí od srpna 2024 a postupně nabývají účinnosti až do roku 2027. Vztahují se nejen na technologické společnosti, ale i na školy.
  • Gramotnost v oblasti AI je povinností, ne kurzem k odškrtnutí. Školy musí svým zaměstnancům pomáhat budovat gramotnost v oblasti AI.
  • Některé způsoby využívání AI jsou výslovně zakázány. Patří mezi ně například rozpoznávání emocí žáků na základě mimiky nebo hlasu, využívání AI ke zneužívání zranitelnosti dětí a ovlivňování jejich chování, vytváření databází pro rozpoznávání obličejů nebo používání biometrických údajů k odvozování citlivých charakteristik, jako je rasa či náboženské vyznání.
  • Riziko závisí na rozhodnutí, nikoli na produktu. Běžné nástroje pro psaní, research, překlad a přípravu hodin nejsou vysoce rizikové jen proto, že se používají ve škole. Vysoce rizikovými se stávají ve chvíli, kdy ovlivňují přijetí, vzdělávací dráhu, výsledky zkoušek nebo pracovní rozhodnutí.
  • Ne všechno, co vytvoří AI, musí být označeno. Povinnost informovat leží především na poskytovateli; materiál zkontrolovaný učitelem s lidskou redakční kontrolou je z této povinnosti vyňat.
  • Vysoce rizikové systémy AI vyžadují člověka, který je může přehlasovat. Výstup AI nikdy není konečným rozhodnutím. Musíte rozumět jeho omezením a být schopni jej odmítnout nebo přehlasovat.
  • Akt o AI stojí nad ostatními zákony, nenahrazuje je. Vnitrostátní právo na ochranu osobních údajů, školské, pracovní právo, právo na ochranu dětí a autorské právo platí i nadále souběžně s ním.
  • GDPR upravuje data, nikoli jen nástroj. I systém AI, který je v pořádku podle Aktu o AI, může být nadále nepřípustný, pokud zpracovává osobní údaje žáků nebo zaměstnanců bez platného právního základu.

Pokud si z této stránky máte zapamatovat jen jednu větu: Používejte AI na podporu svého odborného úsudku, nikoli jako jeho náhradu – přísnější pravidla platí, jakmile AI pomáhá rozhodovat o známkách, vzdělávací dráze nebo o lidech.

Akt EU o umělé inteligenci

Akt EU o umělé inteligenci (nařízení (EU) 2024/1689) je jednotný, na riziku založený předpisový rámec EU pro umělou inteligenci. Namísto regulace konkrétních produktů klasifikuje systémy AI podle rizika, které představují, a podle toho k nim přiřazuje povinnosti – od naprostého zákazu u malé skupiny praktik, přes dodatečné povinnosti pro „vysoce rizikové“ použití, až po žádná zvláštní pravidla pro běžné nástroje. Platí přímo ve všech členských státech, a to jak pro veřejné, tak pro soukromé subjekty.

Akt nabývá účinnosti postupně. Platí od 1. srpna 2024; od 2. února 2025 jsou již závazné níže uvedené zakázané praktiky a povinnost budovat gramotnost v oblasti AI (čl. 4); od 2. srpna 2026 se uplatní většina jeho zbývajících ustanovení.

Časová osa AI Actu 2024–2027.png

Obr. 1: „Plán postupu v oblasti AI“ (obrázek vygenerovaný pomocí AI)

Kdo odpovídá za používání AI?

Pokud škola zavádí a řídí systém AI, je zpravidla zavádějícím subjektem škola nebo školský orgán (čl. 3 odst. 4). Učitel obvykle není samostatným zavádějícím subjektem, pokud nástroj používá podle pokynů školy, musí se však i tak řídit těmito pokyny a všemi příslušnými školními pravidly a pravidly ochrany osobních údajů.

Učitelé musí vědět, co používají

Školy a školské orgány musí přijmout vhodná opatření na podporu rozvoje gramotnosti v oblasti AI u osob, které jejich jménem systémy AI používají (čl. 4). Akt o AI nestanovuje konkrétní úroveň způsobilosti, certifikát ani formu školení. Ty spíše závisí na použitém systému AI, způsobu jeho použití a na tom, koho se to může dotknout.

Praktiky AI zcela zakázané pro školy

Akt o AI zcela zakazuje osm praktik v oblasti AI (čl. 5); čtyři z nich se přímo týkají škol:

  1. Používání systémů AI ve vzdělávacích institucích k odvozování emocí nebo záměrů z biometrických údajů (jako jsou mimika nebo hlasové charakteristiky žáků) je obecně zakázáno. Existují úzké výjimky pro lékařské účely nebo účely bezpečnosti (čl. 3 odst. 39; čl. 5 odst. 1 písm. f).
  2. Systémy AI, které zneužívají něčí zranitelnost danou věkem (jako u dětí), zdravotním postižením nebo sociální či ekonomickou situací, způsobem, který zkresluje jejich chování a způsobuje jim újmu, jsou zakázány bez ohledu na záměr (čl. 5 odst. 1 písm. b).
  3. Budování nebo rozšiřování databáze pro rozpoznávání obličejů necíleným stahováním obrázků z internetu nebo z kamerových záznamů je zakázáno. To je relevantní, pokud škola zvažuje nástroj pro rozpoznávání obličejů pro účely docházky nebo dohledu při zkouškách (čl. 5 odst. 1 písm. e).
  4. Používání biometrických údajů ke kategorizaci osob za účelem odvození chráněných znaků, jako je rasa, politické názory, náboženství nebo sexuální orientace, je zakázáno. To je relevantní pro jakýkoli nástroj založený na biometrii, například software pro dohled nad zkouškami, který jde nad rámec svého deklarovaného účelu (čl. 5 odst. 1 písm. g).

Musí být obsah vytvořený AI vždy označen?

Pokud žáci komunikují přímo se systémem AI, například s chatbotem, musí být informováni, že komunikují s AI. Za jasné sdělení této skutečnosti obvykle odpovídá poskytovatel systému (čl. 50 odst. 1).

Školy a učitelé musí označit deepfake obsah nebo text vytvořený AI publikovaný k záležitostem veřejného zájmu, pokud jsou tyto materiály použity ve výuce (čl. 50 odst. 4). Tento požadavek se neuplatní tam, kde obsah vytvořený AI prošel účinnou lidskou kontrolou nebo redakčním dohledem a za jeho zveřejnění přebírá redakční odpovědnost konkrétní osoba nebo instituce. Pracovní list vytvořený s pomocí AI a zkontrolovaný učitelem tedy automaticky označení nevyžaduje.

Kdy se AI ve vzdělávání stává vysoce rizikovou

Běžné nástroje pro psaní, překlad, research a přípravu hodin nejsou vysoce rizikové jen proto, že se používají v rámci práce. Klasifikace závisí na zamýšleném účelu systému, nikoli jen na tom, o jaký produkt jde (čl. 6 · Příloha III).

Systémy AI mohou být klasifikovány jako vysoce rizikové, pokud jsou určeny k tomu, aby:

Pro učitele Pro školy
  • rozhodovaly o přístupu, přijetí nebo zařazení žáků do vzdělávacích nebo odborných institucí a programů;
  • hodnotily výsledky učení žáků nebo řídily jejich vzdělávací postup;
  • posuzovaly odpovídající úroveň vzdělání, kterou žák obdrží nebo ke které může mít přístup; nebo
  • odhalovaly zakázané chování žáků během zkoušek.

(Příloha III, bod 3)

  • najímaly nebo vybíraly učitele, včetně prověřování žádostí o zaměstnání;
  • rozhodovaly o smluvních podmínkách, povýšení nebo ukončení pracovního poměru učitele;
  • přidělovaly úkoly na základě chování nebo osobních vlastností učitele; nebo
  • hodnotily výkon učitelů.

(Příloha III, bod 4)

Omezený kontrolní nebo přípravný nástroj může spadat mimo kategorii vysoce rizikových i tehdy, pokud nemá významný vliv na rozhodnutí. Vzdělávací systém, který profiluje jednotlivce, je však vždy považován za vysoce rizikový.

Co vysoce rizikové AI znamená pro školy a učitele

Klasifikace systému AI jako vysoce rizikového automaticky nevylučuje jeho použití ve školách. Vysoce rizikové systémy s sebou ale nesou povinnosti (čl. 26):

Tyto povinnosti pro vysoce rizikovou AI ve vzdělávání se uplatní od 2. prosince 2027 – výše uvedené zákazy a povinnost gramotnosti v oblasti AI však platí už dnes.

Pro učitele Pro školy
  • používat jej pouze pro schválený účel a řídit se jeho pokyny;
  • nepovažovat výstupy AI za konečná rozhodnutí.;
  • znát hlavní omezení AI a možné zdroje chyb;
  • nespoléhat se nekriticky na výsledky, i když působí přesvědčivě; a
  • Být připraveni výstupy AI odmítnout nebo upravit na základě vlastního odborného úsudku.
  • zajistit kvalifikovaný lidský dohled a jasně stanovit odpovědnosti;
  • zajistit, aby vstupní údaje, které škola poskytuje, byly relevantní a dostatečně reprezentativní;
  • monitorovat systém a reagovat na rizika nebo závažné incidenty;
  • uchovávat automaticky generované záznamy po dobu nejméně šesti měsíců tam, kde jsou tyto záznamy pod jejich kontrolou; a
  • předem informovat žáky, učitele nebo dotčené osoby, pokud systém napomáhá rozhodování, které se jich týká.

Veřejné subjekty a soukromé organizace poskytující veřejné služby mohou být rovněž povinny provést před použitím vysoce rizikové AI posouzení dopadu na základní práva (čl. 27). Orgány veřejné moci a organizace jednající jejich jménem mohou být navíc povinny zaregistrovat systém v databázi EU (čl. 49). Zda je to odpovědností školy, nebo jejího zřizovatele, závisí na konkrétním vnitrostátním školském systému.

Akt o AI není jediným rozhodným právním předpisem

Akt o AI nenahrazuje evropské ani vnitrostátní předpisy o ochraně osobních údajů, vzdělávání, zaměstnanosti a participaci zaměstnanců, ochraně dětí nebo autorském právu (čl. 2 odst. 7). Skutečnost, že nástroj není vysoce rizikový, například neznamená, že do něj smíte nahrávat práci nebo osobní údaje žáků.

Nástroj může být přípustný podle Aktu o AI, a přesto být zakázán právem na ochranu osobních údajů nebo pravidly vaší školy.

GDPR

GDPR (nařízení (EU) 2016/679) je právní předpis EU o ochraně osobních údajů. Hraje doplňkovou roli vedle Aktu o AI: zatímco Akt o AI se ptá, zda a jak smí být systém AI vůbec použit, GDPR si klade užší otázku – smí být právě tento konkrétní údaj o této konkrétní osobě takto zpracován? Splnění jednoho předpisu ještě automaticky neznamená splnění druhého.

  • Uplatní se, jakmile jsou zapojeny osobní údaje. Za osobní údaje se považují jména, školní e-mailové adresy, žákovské práce, hlasové nahrávky, přepisy, fotografie, známky, docházka i údaje o vzdělávacím pokroku (čl. 4). Většina nástrojů AI používaných ve výuce se dotýká alespoň jednoho z nich.
  • K jejich zpracování potřebujete právní základ. Školy se obvykle opírají o právní povinnost nebo o plnění úkolu ve veřejném zájmu; možný je i souhlas, ten však musí být udělen svobodně a u mladších žáků jej musí udělit rodič nebo zákonný zástupce (čl. 6, čl. 8).
  • Některá data vyžadují zvláštní ochranu. Informace o zdraví, biometrické údaje a údaje odhalující rasový nebo etnický původ, náboženství či podobné znaky jsou „zvláštní kategorií údajů“ a jejich zpracování je v zásadě nepřípustné bez konkrétní výjimky (čl. 9) – to je i jeden z důvodů, proč Akt o AI samostatně zakazuje několik praktik biometrického odvozování ve školách.
  • Vězte, kdo za co odpovídá. Škola je zpravidla „správcem“; poskytovatel AI, který zpracovává data jejím jménem, je „zpracovatelem“ a potřebuje smlouvu o zpracování údajů, která jasně stanoví jeho povinnosti (čl. 28). Ověřte si to předtím, než nový nástroj zavedete v celé škole.
  • Data opouštějící EU potřebují záruku. Mnoho oblíbených nástrojů AI je hostováno mimo EU. Osobní údaje tam smí putovat pouze tehdy, pokud existuje rozhodnutí o odpovídající ochraně nebo jiná schválená záruka, jako jsou standardní smluvní doložky (čl. 44).
  • Žáci i zaměstnanci si zachovávají svá práva. Mohou se zeptat, jaké údaje jsou o nich vedeny, nechat si je opravit nebo vymazat a vznést námitku proti rozhodnutím založeným výhradně na automatizovaném zpracování, která se jich významně dotýkají (čl. 15 až čl. 22) – toto právo funguje souběžně s požadavky Aktu o AI na lidský dohled u vysoce rizikových systémů a tyto požadavky posiluje.

V praxi: než do nástroje AI vložíte skutečné údaje žáků nebo zaměstnanců, ověřte si, že jej vaše škola schválila, nesdílejte více osobních údajů, než úkol vyžaduje, a pokud nástroj jen zkoušíte, dávejte přednost anonymizovaným nebo smyšleným příkladům.

Kde hledat pomoc

Vymáhání je v jednotlivých zemích EU organizováno odlišně. Protože se vnitrostátní odpovědnosti mohou měnit, používejte aktuální seznam vnitrostátních orgánů dohledu nad trhem vedený Evropskou komisí. Kdokoli (učitel, žák, rodič) může u tohoto orgánu podat stížnost, pokud se domnívá, že byl Akt porušen (čl. 85). Pokud vysoce rizikový systém, například nástroj pro přijímací řízení nebo dohled při zkouškách, vedl k rozhodnutí, které žáka významně ovlivňuje, může on (nebo jeho rodiče) rovněž požádat o vysvětlení tohoto konkrétního rozhodnutí (čl. 86).

Vnitrostátní pravidla pro vaši zemi

Akt o AI platí v celé EU, ale orgány dohledu, školské právo a praxe ochrany osobních údajů se v jednotlivých zemích liší. Zde budou postupně doplněny poznámky specifické pro partnerské země Playbooku:

  • Rakousko
  • Česko
  • Německo
  • Lotyšsko
  • Polsko
  • Slovensko
  • Slovinsko
  • Španělsko