Skip to main content

1.3 Odgovorna uporaba UI

Ključno sporočilo

  • Odgovornost je naloga zasnove, ne naloga nadzora. Zaznavanje UI ne deluje zanesljivo.
  • In zaznavanje UI je nepravično, kadar odpove. Detektorji človeško delo napačno označijo kot napisano z UI, delo, napisano z UI, pa spregledajo. Šolske oblasti v Franciji in na Nizozemskem odsvetujejo njihovo uporabo.
  • Samozavestno izmišljanje in podedovana pristranskost izhajata iz tega, kako so ti sistemi zgrajeni in ocenjeni. Posledica bi morala biti: poučevati o tem, namesto čakati na popravek.
  • Delovno načelo je: najprej razmisli, nato UI. Zavezanost lastnemu odgovoru je boljša od razlage stroja, vgrajevanje omejitev v programsko opremo pa odpravi škodo, ki jo povzroča neomejen dostop.
  • Zgolj pozivinavodila (prompti)v pozivu ne zadržijo.zagotavljajo, da bo klepetalnik upošteval omejitve. Klepetalnik, ki naj bi deloval kot tutor, se nagiba k temu, da znova začne kar sam podajati odgovore, zato je zanesljiva omejitev bolj vprašanje nakupa kot pozivov.
  • Ojačanje razlik je privzeto stanje; izenačevanje je treba zgraditi iz dostopa, zasnove in podpore (scaffolding) skupaj. Najbolj redek, a najpomembnejši od teh treh pogojev je usposobljen učitelj.
  • Vključevanje je najjasnejša korist, in tam učitelji sami vidijo najmočnejši argument.

Če si zapomnite le en stavek s te strani: Jezovi se rušijo. Naučite plavati.

Bralni dnevnik, drugi pogled

Nazaj k našemu devetošolcu in njegovemu sumljivo dodelanemu bralnemu dnevniku. Nagon je skoraj univerzalen, in to je nagon dobrega učitelja: ugotoviti, ali je uporabil UI. Zgraditi boljši jez.

To poglavje pojasnjuje, zakaj ta nagon sam po sebi ne pripelje nikamor. Prišli bomo do tega, kaj deluje namesto tega.

Začnimo z neprijetnim delom. Učitelji ne znajo zanesljivo ločiti besedila UI od besedila učenca. V dveh raziskavah nemške skupine so 89 učiteljem pripravnikom in 200 izkušenim učiteljem dali mešanico učenčevih esejev in esejev klepetalnika ter jih prosili, naj jih razvrstijo. Nobena skupina tega ni zmogla zanesljivo, a obe skupini sta bili prepričani, da to zmoreta. Izkušnje so pomagale le malo: izkušeni učitelji so še vedno spregledali večino besedil UI. Na neki britanski univerzi so raziskovalci prek običajnih poti, ne da bi obvestili ocenjevalce, pri resničnih nenadzorovanih spletnih izpitih oddali odgovore, ustvarjene s klepetalnikom.

„Lahko jo uporabiš, vendar moraš rezultat znati pojasniti s svojimi besedami.“

Detektor, ki kaznuje napačne učence

Raziskovalci so preizkusili sedem najbolj razširjenih detektorjev UI na TOEFL esejih, ki so jih napisali ljudje, ki se učijo angleščine kot tujega jezika, zbranih na kitajskem spletnem forumu. Poleg njih so preizkusili eseje ameriških osmošolcev, ki jim je angleščina materni jezik. Delo naravnih govorcev je bilo skoraj vedno pravilno razvrščeno. Od esejev v tujem jeziku pa je bilo napačno označenih kot strojno napisanih več kot šest od desetih.

Mehanizem ni skrivnosten. Mnoga od teh orodij ne zaznavajo dela velikih jezikovnih modelov. Orodja merijo predvidljivost. Besedilo, ki uporablja pogoste besede v pričakovanem vrstnem redu, je ocenjeno kot umetno. Tisti, ki pišejo v drugem jeziku, z manjšim besediščem in bolj togo stavčno strukturo, lahko ustvarijo natanko tak signal. Detektorji, naučeni za en določen test, in raziskave v drugih jezikih sicer kažejo manjše razlike. Vendar do zdaj na trgu ni detektorjev, ki bi bili dovolj zanesljivi, da bi koga lahko obtožili namernega zavajanja.

Napake orodja sistematično padejo na tiste učence, ki že tako nosijo največ bremena. Institucije so to preračunale. Univerza Vanderbilt je opozorila, da bi tako orodje, tudi če bi se zmotilo le v 1 % primerov, med njenimi 75.000 oddanimi deli na leto vseeno napačno označilo približno 750 izdelkov. Zato so ga izklopili. Vodnik, ki so ga raziskovalci pripravili za nemško zvezno ministrstvo za izobraževanje, je nedvoumen: tehnologija „ni dovolj zanesljiva, da bi zagotavljala pravno varen dokaz“. Neodvisni evropski preizkus štirinajstih detektorjev je prišel do enake sodbe: „niti natančni niti zanesljivi“.

Velik del Evrope o tem ne razpravlja več. Francosko ministrstvo za izobraževanje in francoski organ za varstvo podatkov šolam odsvetujeta uporabo detektorjev, agencija za IKT Kennisnet na Danskem pa jih označuje kot zelo nezanesljive. V visokem šolstvu posamezne univerze, kot je ZHAW v Zürichu, prepovedujejo njihovo uporabo pri ocenjevanju. V Angliji izpitni odbori dovoljujejo programsko opremo za zaznavanje le kot en element presoje, ki ostaja v rokah učitelja, ki „svoje učence pozna najbolje“. Velja si zapomniti tudi vidik varstva podatkov: vnos učenčevega dela v spletno orodje pomeni obdelavo njegovih osebnih podatkov. Za to sta potrebna pravna podlaga in pogodba s ponudnikom. → 1.4 Skladna uporaba UI

Zdi se, da je panika zaradi goljufanja tanjša od hrupa okoli nje. Raziskovalci so anketirali učence na treh ameriških srednjih šolah pred obstojem ChatGPT in znova po tem. Goljufanje je v veliki meri ostalo na isti ravni. Nadaljnja anketa med več kot 4.000 učenci na šestih drugih ameriških srednjih šolah leto pozneje je pokazala enako.

Pravo vprašanje nikoli ni bilo: „Kako ga zalotim?“ Je: kaj domača naloga sploh še meri, ko je njen izdelek mogoče ustvariti na zahtevo?

„Sprva sem to videl kot goljufanje. Zdaj to vidim kot znak, da se mora spremeniti naloga sama.“

Dve stvari, ki ju ne bo mogoče preprosto popraviti, zato ju je treba poučevati

Samozavestno izmišljanje je vgrajeno. Ti sistemi ustvarjajo verjetna nadaljevanja besedila, verjetno pa ni isto kot resnično. Pregledi raziskav se strinjajo, da nobena tehnika problema doslej ni odpravila, čeprav ga je mogoče zmanjšati in deloma zaznati. Razlog je v tem, da standardni testi, s katerimi ocenjujemo velike jezikovne modele, nagrajujejo samozavestno ugibanje bolj kot priznavanje negotovosti, zato bo, dokler jih merimo na ta način, ostala določena stopnja tekoče, dobro oblikovane neresnice.

Tudi nagnjenja v učnem gradivu so vgrajena. Poleg tega se z izboljševanjem modelov ne zmanjšujejo. Evropska raziskava spolnih stereotipov v različnih jezikih je ugotovila, da večji modeli, tudi po dodatnem urjenju, namenjenem temu, da bi bili varnejši in pravičnejši, včasih stereotipizirajo bolj, ne manj. Če lastnosti ni mogoče tehnično odpraviti, postane del učnega načrta. In to je mogoče poučevati: v enem finskem programu se je delež učencev, ki so znali pojasniti, od kod izvira pristranskost generatorja slik, povečal s 7 % na 44 %. Posledica za poučevanje mora biti urjenje analize napak namesto izogibanja napakam. Z drugimi besedami: napake stroja postanejo učna snov.

„Naj učenec preveri rešitev klepetalnika, kot da bi bil učitelj. Z iskanjem napak se končno nauči metode.“

Kaj deluje: zasnova, ne nadzor

Dokazi kažejo na eno preprosto načelo, ki si ga je lahko zapomniti: najprej razmisli, nato UI.

Naj se človek najprej zaveže. V poskusu s približno 200 odraslimi so ljudje, ki so morali sprejeti lastno odločitev, preden so videli predlog stroja, redkeje sledili njegovim napačnim predlogom kot tisti, ki so jim pokazali kratko razlago sklepanja stroja. Razlaganje delovanja UI problema ni rešilo. Pomagala je metoda, ki je zahtevala lastno presojo. Zahtevati lastno presojo pomeni prisiliti ljudi k razmišljanju. Ker je razmišljanje naporno, so imeli udeleženci te metode najmanj radi, pomagale pa so največ tistim, ki jim je naporen razmislek že tako v veselje. To je pojav, ki ga vsi poznate kot Matejev učinek: tistim, ki že imajo, bo dano še več.

Vgradite omejitve. Klepetalnik iz poglavja 1.2, ki je zadrževal odgovore in namesto tega postavljal vprašanja, je ista zamisel, prenesena v programsko opremo: učenci, ki so ga uporabljali, na izpitu niso izgubili ničesar, medtem ko so tisti z neomejeno različico izgubili precej.

Naredite proces viden, namesto da lovite izdelek. Osnutki, delovni zapiski, kratek pogovor o delu. Ti pokažejo, kaj učenec zna, ne da bi moral kdorkoli dokazovati, kaj je dejansko naredil.

Danska preizkuša to načelo: na sodelujočih šolah lahko učenci pri pripravi na ustni izpit iz angleščine uporabljajo UI, pisni izpit pa vključuje ročno pisani del brez pripomočkov.

Preden se zanesete na to, velja poznati dve omejitvi.

Prva: priljubljeni nasvet, naj učitelji klepetalniku preprosto naročijo, naj deluje kot sokratski tutor, morda ne prestane dolgega pogovora. Prvi dokazi iz raziskave s simuliranimi učenci, ki še ni bila recenzirana (oktober 2026), kažejo, da takšni tutorji pod vztrajnim pritiskom znova zdrsnejo v podajanje odgovorov. Zanesljive omejitve je treba vgraditi v sistem, zaradi česar so bolj odločitev o nakupu kot spretnost oblikovanja pozivov.

Druga: to, da UI razloži svoje sklepanje, se sliši kot očitna zaščita, a razlage zanesljivo ne preprečijo prevelikega zaupanja. V eni raziskavi niso spremenile tega, koliko so ljudje sprejemali napačne nasvete, prezahtevne ali preveč poenostavljene razlage pa lahko celo povečajo neupravičeno zaupanje. Razlaga je le pogoj za učenje.

Odnos: dva načina odpovedi, ne le eden

Skrbi nas, da učitelji preveč zaupajo UI. Vendar bi nas moralo enako skrbeti tudi obratno. Tudi izkušeni ljudje se lahko ujamejo v past prevelikega zaupanja. V manjšem pilotnem projektu na ameriških šolah so štirje od desetih anketiranih učiteljev povratne informacije orodja UI za ocenjevanje ocenili kot neuporabne, večinoma nejasne ali celo napačne. Raziskave o pristranskosti avtomatizacije kažejo, da ljudje predlogu stroja radi sledijo, tudi kadar imajo razlog za dvom. Opaziti napako in jo popraviti sta različna koraka.

Nasproten pol je prikrivanje. Učitelji svojo lastno uporabo UI skrivajo pred sodelavci in učenci ter jim prepovedujejo tisto, kar sami počnejo: 77 % jo zasebno uporablja, 57 % pa jih pravi, da je učenci nikoli ne bi smeli uporabiti za ustvarjanje idej. Medtem je raziskava akademsko sposobnih učencev od 6. do 8. razreda pokazala, da med tretjino in dvema petinama že pravi, da UI ve več kot njihovi učitelji. Poklic, ki skriva svoje prakse, ne more biti zgled odgovorne prakse, in preglednost ni le vljudnost. Je mehanizem, po katerem deluje učenje z zgledom.

Ali UI izenačuje razmere ali jih nagiba?

Pri delovnih nalogah UI izenačuje razlike. V enem poskusu so udeleženci z višjo izobrazbo dosegli bistveno boljše rezultate kot tisti z nižjo izobrazbo. Z UI-asistentom je izginilo približno tri četrtine te vrzeli. Ko so asistenta znova odvzeli, se je precejšen del vrzeli vrnil. UI je zaprla vrzel v izdelku, ne vrzeli v sposobnosti.

Pri učnih nalogah je ravno obratno. Ena raziskava ni odkrila nobene povprečne koristi, temveč se je razlika med učenci, ki so že veliko znali, in tistimi, ki niso, celo povečala. Druga je preučevala učence, ki pišejo v tujem jeziku: šibkejši pisci so od UI prejeli več popravkov in jih uspešno upoštevali manj, mnogim pa se je poplava povratnih informacij zdela potrta. Povratna informacija brez sposobnosti, da bi jo razvrstili, ne pomaga; zasuje.

Vrzel obstaja tudi, preden kdorkoli sploh seže po orodju. V Nemčiji 80 % učencev iz najbolj premožnih družin UI vidi kot priložnost, v primerjavi s 55 % iz najmanj premožnih. V Britaniji razkol poteka skozi zbornico, ne skozi omaro z napravami: 45 % učiteljev na zasebnih šolah je bilo formalno usposobljenih za uporabo UI, v primerjavi z 21 % na javnih šolah. Znotraj javnega sektorja bogatejše šole spet prehitevajo revnejše. Anketa iz leta 2026 med več kot 25.000 otroki v 17 evropskih državah odkrije enak družbeni razkol v tem, koliko in kako raznoliko uporabljajo UI. Stavek nekega komentatorja zajame celoten problem bolje kot katerakoli številka: „bogati imajo dostop tako do tehnologije kot do ljudi, ki jim pomagajo pri njeni uporabi, revni pa imajo dostop le do tehnologije.“

Ozko grlo je torej, ali ima učenec dostop do učitelja, ki je bil usposobljen. UI kompenzira, kadar se hkrati izpolnijo tri pogoji: zanesljiv dostop, orodje, zasnovano za učenje in ne za dajanje odgovorov, ter učitelj, ki podpira njegovo uporabo. Odstranite katerega koli od njih, in namesto izenačevanja pride do ojačanja razlik. Ker so vsi trije pogoji ponavadi prisotni na istih šolah in odsotni na istih šolah, je ojačanje privzeto stanje, izenačevanje pa je nekaj, kar je treba zgraditi.