1.6 Zakonodaja

Ključno sporočilo

• Akt EU o UI je pravna podlaga. Evropski pravilnik za UI velja od avgusta 2024 in se postopoma uvaja do leta 2027. Ne velja le za tehnološka podjetja, temveč tudi za šole.
• Pismenost na področju UI je obveznost, ne tečaj, ki ga je treba le odkljukati. Šole morajo osebju pomagati pri razvijanju pismenosti na področju UI.
• Več uporab UI je izrecno prepovedanih. Med njimi: sklepanje o čustvih učencev iz obraznih ali glasovnih podatkov, UI, ki izkorišča ranljivosti otrok za izkrivljanje njihovega vedenja, ter gradnja baz podatkov za prepoznavanje obrazov ali sklepanje o lastnostih, kot sta rasa ali vera, iz biometričnih podatkov.
• Tveganje je odvisno od odločitve, ne od izdelka. Običajna orodja za pisanje, raziskovanje, prevajanje in pripravo na pouk niso visokotvegana zgolj zato, ker se uporabljajo v šoli. Postanejo visokotvegana, ko vplivajo na sprejem, učne poti, izpitne rezultate ali odločitve o zaposlitvi.
• Ni treba označiti vsega, kar ustvari UI. Obveznost razkritja je predvsem na strani ponudnika; gradivo, ki ga pregleda učitelj s človeškim uredniškim nadzorom, je izvzeto.
• Visokotvegana UI potrebuje človeka, ki jo lahko preglasi. Izpis UI nikoli ni dokončna odločitev. Razumeti morate njegove omejitve in ga morate znati zavrniti ali preglasiti.
• Akt o UI je nadgradnja obstoječega prava, ne njegova zamenjava. Nacionalno pravo o varstvu podatkov, izobraževanju, zaposlovanju, varstvu otrok in avtorskih pravicah velja še naprej vzporedno z njim.
• GDPR ureja podatke, ne le orodja. Tudi sistem UI, ki je v redu po Aktu o UI, je lahko še vedno prepovedan, če obdeluje osebne podatke o učencih ali osebju brez veljavne pravne podlage.

Če si zapomnite le en stavek s te strani: Uporabljajte UI za podporo svoji strokovni presoji, ne za njeno nadomestitev – strožja pravila veljajo takoj, ko UI pomaga sprejemati odločitve o ocenah, izobraževalnih poteh ali ljudeh.

Akt EU o umetni inteligenci

Akt EU o umetni inteligenci (Uredba (EU) 2024/1689) je enoten, na tveganju temelječ pravilnik EU za umetno inteligenco. Namesto da bi urejal posamezne izdelke, sisteme UI razvršča glede na tveganje, ki ga predstavljajo, in temu ustrezno določa obveznosti – od popolne prepovedi za majhen nabor praks, prek dodatnih obveznosti za 'visokotvegane' uporabe, do popolne odsotnosti posebnih pravil za vsakdanja orodja. Velja neposredno v vsaki državi članici, tako za javne kot za zasebne organizacije.

Akt se uvaja postopoma, korak za korakom. Velja od 1. avgusta 2024; od 2. februarja 2025 sta že zavezujoča spodaj navedeni prepovedani praksi in obveznost razvijanja pismenosti na področju UI (člen 4); od 2. avgusta 2026 velja večina preostalih določb.

Kdo je odgovoren za uporabo UI?

Če šola uvede in nadzoruje sistem UI, je šola oziroma šolski organ običajno „uvajalec“ (člen 3(4)). Učitelj pri uporabi orodja po navodilih šole običajno ni ločen uvajalec, mora pa kljub temu upoštevati ta navodila ter vsa ustrezna šolska pravila in pravila o varstvu podatkov.

Učitelji morajo vedeti, kaj uporabljajo

Šole in šolski organi morajo sprejeti ustrezne ukrepe za podporo razvoju pismenosti na področju UI pri tistih, ki v njihovem imenu uporabljajo sisteme UI (člen 4). Akt o UI ne določa natančne ravni usposobljenosti, potrdila ali oblike usposabljanja. Te so odvisne od uporabljenega sistema UI, načina njegove uporabe in tega, kdo bi lahko bil prizadet.

Prakse UI, ki so za šole izrecno prepovedane

Akt o UI izrecno prepoveduje osem praks UI (člen 5); štiri od njih so neposredno pomembne za šole:

• Uporaba sistemov UI v izobraževalnih ustanovah za sklepanje o čustvih ali namerah iz biometričnih podatkov (kot so obrazne ali glasovne značilnosti učencev) je na splošno prepovedana. Obstajajo ozke izjeme za medicinske namene ali namene varnosti (člen 3(39); člen 5(1)(f)).
• Sistemi UI, ki izkoriščajo nekoga ranljivost zaradi starosti (kot pri otrocih), invalidnosti ali socialnega oziroma ekonomskega položaja, na način, ki izkrivlja njegovo vedenje in mu povzroča škodo, so prepovedani ne glede na namen (člen 5(1)(b)).
• Gradnja ali širjenje baze podatkov za prepoznavanje obrazov s ciljno neusmerjenim zbiranjem slik z interneta ali iz videonadzora je prepovedana. To je pomembno, če šola razmišlja o orodju za prepoznavanje obrazov za evidenco prisotnosti ali nadzor izpitov (člen 5(1)(e)).
• Uporaba biometričnih podatkov za razvrščanje ljudi z namenom sklepanja o zaščitenih lastnostih, kot so rasa, politična prepričanja, vera ali spolna usmerjenost, je prepovedana. To je pomembno za vsako orodje na biometrični osnovi, kot je programska oprema za nadzor izpitov, ki presega svoj navedeni namen (člen 5(1)(g)).

Ali je treba vsebino, ustvarjeno z UI, vedno označiti?

Če učenci neposredno komunicirajo s sistemom UI, na primer s klepetalnikom, morajo biti obveščeni, da komunicirajo z UI. Za to jasno obvestilo je običajno odgovoren ponudnik sistema (člen 50(1)).

Šole in učitelji morajo razkriti globoke ponaredke (deepfake) ali besedilo, ustvarjeno z UI in objavljeno o zadevah javnega pomena, kadar se ti uporabljajo pri pouku (člen 50(4)). Ta zahteva ne velja, kadar je vsebina, ustvarjena z UI, prestala učinkovit človeški pregled ali uredniški nadzor, uredniško odgovornost za njeno objavo pa prevzame oseba ali institucija. Delovni list, ustvarjen s pomočjo UI, ki ga je pregledal učitelj, torej samodejno ne potrebuje oznake.

Kdaj UI v izobraževanju postane visokotvegana

Običajna orodja za pisanje, prevajanje, raziskovanje in pripravo na pouk niso visokotvegana zgolj zato, ker se uporabljajo pri delu. Razvrstitev je odvisna od namena sistema, ne zgolj od tega, kateri izdelek se uporablja (člen 6, Priloga III).

Sistemi UI so lahko razvrščeni kot visokotvegani, kadar so namenjeni:

Za učitelje	Za šole
odločanju o dostopu, sprejemu ali razporejanju učencev v izobraževalne ali poklicne ustanove in programe; ocenjevanju učnih dosežkov učencev ali usmerjanju njihovih učnih procesov; presoji ustrezne ravni izobraževanja, ki jo bo učenec prejel ali do katere lahko dostopa; ali zaznavanju prepovedanega vedenja učencev med izpiti. (Priloga III, točka 3)	zaposlovanju ali izbiri učiteljev, vključno s pregledovanjem prijav; odločanju o pogodbenih pogojih, napredovanju ali prenehanju zaposlitve učitelja; dodeljevanju nalog na podlagi vedenja ali osebnih lastnosti učitelja; ali ocenjevanju uspešnosti učiteljev. (Priloga III, točka 4)

Omejeno orodje za preverjanje ali pripravljalno orodje lahko ostane zunaj kategorije visokega tveganja, če pomembno ne vpliva na odločitev. Vendar pa izobraževalni sistem, ki profilira posameznike, vedno velja za visokotveganega.

Kaj visokotvegana UI pomeni za šole in učitelje

Razvrstitev sistema UI kot visokotveganega samodejno ne izključuje njegove uporabe v šolah. Vendar visokotvegani sistemi prinašajo obveznosti (člen 26):

Te obveznosti za visokotvegano UI v izobraževanju veljajo od 2. decembra 2027 – zgornje prepovedi in obveznost pismenosti na področju UI pa veljajo že danes.

Za učitelje

Za šole

uporabljajte jo le za njen odobreni namen in sledite njenim navodilom; njenega izpisa ne obravnavajte kot dokončne odločitve; razumite njene glavne omejitve in verjetne vire napak; bodite pozorni na pretirano zanašanje na navidezno prepričljive rezultate; in bodite pripravljeni njen izpis zavrniti ali preglasiti.

zagotovite usposobljen in pooblaščen človeški nadzor; zagotovite, da so vhodni podatki pod njenim nadzorom relevantni in dovolj reprezentativni; spremljajte sistem in se odzivajte na tveganja ali resne incidente; samodejno ustvarjene dnevnike hranite vsaj šest mesecev, kadar so ti pod njenim nadzorom; in vnaprej obvestite učence, učitelje ali prizadete osebe, kadar sistem pomaga pri odločanju o njih.

Javni organi in zasebne organizacije, ki opravljajo javne storitve, bodo morda morali pred uporabo visokotvegane UI opraviti tudi oceno učinka na temeljne pravice (člen 27). Javni organi in organizacije, ki delujejo v njihovem imenu, bodo morda morali sistem tudi registrirati v podatkovni zbirki EU (člen 49). Ali je to odgovornost šole ali njenega upravnega organa, je odvisno od nacionalnega šolskega sistema.

Akt o UI ni edini pomemben zakon

Akt o UI ne nadomešča evropskih ali nacionalnih predpisov o varstvu podatkov, izobraževanju, zaposlovanju in sodelovanju delavcev, varstvu otrok ali avtorskih pravicah (člen 2(7)). Na primer, dejstvo, da orodje ni visokotvegano, ne pomeni, da smete vanj naložiti delo ali osebne podatke učencev.

Orodje je lahko sprejemljivo po Aktu o UI, a kljub temu prepovedano po zakonodaji o varstvu podatkov ali pravilih vaše šole.

GDPR

GDPR (Uredba (EU) 2016/679) je zakonodaja EU o varstvu podatkov. Ima podporno vlogo ob Aktu o UI: medtem ko se Akt o UI sprašuje, ali in kako je sistem UI sploh mogoče uporabljati, se GDPR sprašuje, ali je te konkretne podatke o tej konkretni osebi dovoljeno obdelovati na ta način.

• Velja, takoj ko so vpleteni osebni podatki. Imena, šolski e-poštni naslovi, delo učencev, glasovni posnetki, prepisi, fotografije, ocene, prisotnost in podatki o učnem napredku – vse to šteje za osebne podatke (člen 4).
• Nekateri podatki potrebujejo dodatno zaščito. Podatki o zdravju, biometrični podatki ter podatki, ki razkrivajo rasni ali etnični izvor, vero ali podobne lastnosti, so „posebne vrste podatkov“ in so načeloma prepovedani brez posebne izjeme (člen 9) – to je tudi eden od razlogov, zakaj Akt o UI v šolah ločeno prepoveduje več praks biometričnega sklepanja.
• Vedite, kdo je odgovoren. Šola je običajno „upravljavec“; ponudnik UI, ki obdeluje podatke v imenu šole, je „obdelovalec“ in potrebuje pogodbo o obdelavi podatkov, ki natančno opredeli njegove obveznosti (člen 28). To preverite, preden novo orodje uvedete v celotni šoli.
• Podatki, ki zapustijo EU, potrebujejo zaščitni ukrep. Veliko priljubljenih orodij UI gostuje zunaj EU. Osebni podatki lahko tja potujejo le, če obstaja sklep o ustreznosti ali drug odobren zaščitni ukrep, kot so standardne pogodbene klavzule (člen 44).
• Učenci in osebje ohranijo svoje pravice. Lahko zahtevajo vpogled v to, kaj je shranjeno o njih, popravek ali izbris teh podatkov, in ugovarjajo odločitvam, ki temeljijo izključno na avtomatizirani obdelavi in ki nanje pomembno vplivajo (členi 15–22) – ta pravica dopolnjuje in krepi zahteve Akta o UI po človeškem nadzoru pri visokotveganih sistemih.

Kje najti pomoč

Izvrševanje je v vsaki državi EU organizirano drugače. Ker se nacionalne pristojnosti lahko spremenijo, uporabite trenutni seznam nacionalnih organov za nadzor trga Evropske komisije. Vsakdo (učitelj, učenec, starš), ki meni, da je bil Akt kršen, lahko pri tem organu vloži pritožbo (člen 85). Kadar je visokotvegan sistem, na primer orodje za sprejem ali nadzor izpitov, privedel do odločitve, ki pomembno vpliva na učenca, lahko ta (ali njegovi starši) zahtevajo tudi obrazložitev te posamezne odločitve (člen 86).

Nacionalna pravila za vašo državo

Akt o UI velja po vsej EU, vendar se izvršilni organi, šolsko pravo in praksa varstva podatkov razlikujejo od države do države. Tukaj bodo dodane državno specifične opombe za partnerske države tega priročnika:

• Avstrija
• Češka
• Nemčija
• Latvija
• Slovaška
• Slovenija
• Španija