1.3 Odgovorna uporaba UI

Ključno sporočilo

• Odgovornost je naloga zasnove, ne naloga nadzora. Zaznavanje UI ne deluje zanesljivo.
• In zaznavanje UI je nepravično, kadar odpove. Obstaja tveganje, da odgovore napačno označimo kot ustvarjene z UI, ali obratno. Več evropskih držav je ta orodja že izključilo iz uporabe.
• Samozavestno izmišljanje in podedovana pristranskost izhajata iz tega, kako so ti sistemi zgrajeni in ocenjeni. Posledica bi morala biti: poučevati o tem, namesto čakati na popravek.
• Delovno načelo je: najprej razmisli, nato UI. Zavezanost lastnemu odgovoru je boljša od razlage stroja; vgrajevanje omejitev v programsko opremo je boljše od prepovedi.
• Zgolj pozivi (prompti) ne zadržijo. Klepetalnik, ki naj bi deloval kot tutor, se nagiba k temu, da znova začne kar sam podajati odgovore, zato je zanesljiva omejitev bolj vprašanje nakupa kot pozivov.
• Ojačanje razlik je privzeto stanje; izenačevanje je treba zgraditi iz dostopa, zasnove in podpore (scaffolding) skupaj – najbolj redka od teh treh pa je usposobljen učitelj.
• Vključevanje je najjasnejša korist, in tam učitelji sami vidijo najmočnejši argument.

Če si zapomnite le en stavek s te strani: Jezovi se rušijo. Naučite plavati.

Bralni dnevnik, drugi pogled

Nazaj k našemu devetošolcu in njegovemu sumljivo dodelanemu bralnemu dnevniku. Nagon je skoraj univerzalen, in to je nagon dobrega učitelja: ugotoviti, ali je uporabil UI. Zgraditi boljši jez.

To poglavje pojasnjuje, zakaj ta nagon sam po sebi ne pripelje nikamor. Prišli bomo do tega, kaj deluje namesto tega.

Začnimo z neprijetnim delom. Učitelji ne znajo zanesljivo ločiti besedila UI od besedila učenca. V nemški raziskavi so 289 učiteljem z različnimi izkušnjami dali mešanico učenčevih besedil in besedil klepetalnika ter jih prosili, naj jih razvrstijo. Nobena skupina tega ni zmogla. A obe skupini sta bili prepričani, da to zmoreta. Izkušnje skoraj niso naredile razlike. V širšem merilu je še slabše. Na eni univerzi so raziskovalci prek običajnih poti, brez obvestila ocenjevalcem, v pravi izpitni sistem oddali odgovore, ustvarjene s klepetalnikom. 94 % jih ni bilo nikoli vprašljivih. Poleg tega so bili v povprečju ocenjeni bolje kot delo dejanskih študentov. Kakšna je torej posledica? Posežemo po stroju! In tu ugotovitev preneha biti zgolj nerodna in postane etični problem!

Detektor, ki kaznuje napačne učence

Raziskovalci so preizkusili sedem najbolj razširjenih detektorjev UI na TOEFL esejih, ki so jih napisali učenci angleščine kot tujega jezika. Poleg njih so preizkusili eseje ameriških osmošolcev, ki jim je angleščina materni jezik. Delo naravnih govorcev je bilo skoraj vedno pravilno razvrščeno. Od esejev v tujem jeziku pa je bilo napačno označenih kot strojno napisanih več kot šest od desetih.

Mehanizem ni skrivnosten. Ta orodja ne zaznavajo dela velikih jezikovnih modelov, temveč zaznavajo predvidljivost. Besedilo, ki uporablja pogoste besede v pričakovanem vrstnem redu, je ocenjeno kot umetno. Kdorkoli piše v drugem jeziku, z manjšim besediščem in varnejšo stavčno strukturo, ustvari natanko tak signal. Napake orodja sistematično padejo na tiste učence, ki že tako nosijo največ bremena. Institucije so to preračunale. Univerza Vanderbilt je opozorila, da bi tako orodje, tudi če bi se zmotilo le v 1 % primerov, med njenimi 75.000 oddanimi deli na leto vseeno napačno obtožilo približno 750 učencev. Zato so ga izklopili. Smernice nemškega zveznega ministrstva za izobraževanje so nedvoumne: tehnologija „ni dovolj zanesljiva, da bi zagotavljala pravno varen dokaz“.

Velik del Evrope o tem ne razpravlja več. Francija, Nizozemska in Švica odsvetujejo detektorje ali jih prepovedujejo. Britanski izpitni regulator se je namerno odločil za človeško presojo namesto za programsko opremo. Nizozemski argument gre še korak dlje in si ga velja zapomniti: vnos učenčevega dela v detektor je sam po sebi dejanje obdelave njegovih osebnih podatkov, in če to storimo brez dovoljenja, kršimo zakonodajo o varstvu podatkov. → 1.4 Skladna uporaba UI

Zdi se, da je panika zaradi goljufanja tanjša od hrupa okoli nje. Raziskovalci so anketirali učence na treh srednjih šolah pred obstojem ChatGPT in znova po tem. Goljufanje je v veliki meri ostalo na isti ravni. Večina učencev je zavrnila, da bi klepetalnik preprosto izdelal njihovo delo namesto njih, hkrati pa so menili, da je pošteno uporabiti ga za začetek dela ali za razlago česa.

Pravo vprašanje nikoli ni bilo: „Kako ga zalotim?“ Je: kaj domača naloga sploh še meri, ko je njen izdelek mogoče ustvariti na zahtevo?

Dve stvari, ki ju ne bomo popravili, zato ju je treba poučevati

Samozavestno izmišljanje je vgrajeno. Ti sistemi ustvarjajo verjetna nadaljevanja besedila, kar ni isto kot resnična nadaljevanja. Raziskovalci so zdaj formalno pokazali, od kod to izvira: standardni testi, s katerimi ocenjujemo velike jezikovne modele, nagrajujejo samozavestno ugibanje bolj kot priznavanje negotovosti, zato dokler jih merimo na ta način, ostaja določena stopnja tekoče, dobro oblikovane neresnice. To je lastnost načina, kako so zgrajeni in ocenjeni, ne hrošč, ki čaka na popravek.

Tudi nagnjenja v učnem gradivu so vgrajena. Poleg tega se z izboljševanjem tehnologije ne zmanjšujejo. Evropska raziskava spolnih stereotipov v različnih jezikih je ugotovila, da večji modeli, tudi po dodatnem urjenju, namenjenem temu, da bi bili varnejši in pravičnejši, včasih stereotipizirajo bolj, ne manj. Če lastnosti ni mogoče tehnično odpraviti, postane del učnega načrta. In to je mogoče poučevati: v enem finskem programu se je delež učencev, ki so znali prepoznati pristranskost v izpisu sistema UI, povečal s 7 % na 44 %. Posledica za poučevanje mora biti urjenje analize napak namesto izogibanja napakam. Z drugimi besedami: napake stroja postanejo učna snov.

Kaj deluje: zasnova, ne nadzor

Dokazi kažejo na eno preprosto načelo, ki si ga je lahko zapomniti: najprej razmisli, nato UI.

Naj se človek najprej zaveže. V vrsti poskusov so ljudje, ki so morali svoj odgovor zapisati, preden so videli predlog stroja, opazili veliko več njegovih napak kot tisti, ki so jim pokazali podrobne razlage, kako je stroj sklepal. Razlaganje delovanja UI ni pomagalo rešiti tega problema, prisilitev v lastno presojo pa je pomagala. Z eno pošteno opombo: različice, ki so delovale najbolje, so bile tiste, ki so jih udeleženci imeli najmanj radi, in pomagale so največ tistim, ki jim je naporen razmislek že tako v veselje. Gre torej za pojav, znan tudi kot Matejev učinek: tistim, ki že imajo, bo dano še več. Prav oni imajo od tega pristopa največ koristi.

Vgradite omejitve. Klepetalnik iz poglavja 1.3, ki je zadrževal odgovore in namesto tega postavljal vprašanja, je ista zamisel, prenesena v programsko opremo: učenci, ki so ga uporabljali, na izpitu niso izgubili ničesar, medtem ko so tisti z neomejeno različico izgubili precej.

Naredite proces viden, namesto da lovite izdelek. Osnutki, delovni zapiski, kratek pogovor o delu. Ti pokažejo, kaj učenec zna, ne da bi moral kdorkoli dokazovati, kaj je dejansko naredil.

Danska preizkuša to načelo: na sodelujočih šolah lahko učenci pri pripravi na ustni izpit iz angleščine uporabljajo UI, pisni izpit pa vključuje ročno pisani del brez pripomočkov.

Preden se zanesete na to, velja poznati dve omejitvi. Prva: priljubljeni nasvet, naj učitelji klepetalniku preprosto naročijo, naj deluje kot sokratski tutor, ne prestane stika z dolgim pogovorom. Vsaj trenutno se sistem nagiba k temu, da znova zdrsne nazaj v podajanje odgovorov. Zanesljive omejitve je treba vgraditi v sistem, zaradi česar so bolj odločitev o nakupu kot spretnost oblikovanja pozivov. Druga: to, da UI razloži svoje sklepanje, se sliši kot očitna zaščita, a razlage zanesljivo ne preprečijo prevelikega zaupanja. V eni raziskavi niso spremenile tega, koliko so ljudje sprejemali napačne nasvete, prezahtevne ali preveč poenostavljene razlage pa lahko celo povečajo neupravičeno zaupanje. Razlaga je pogoj, ne rešitev.

Odnos: dva načina odpovedi, ne le eden

Skrbi nas, da učitelji preveč zaupajo UI. Vendar bi nas moralo enako skrbeti tudi obratno. Tudi izkušeni ljudje se lahko ujamejo v past prevelikega zaupanja. V eni raziskavi so učitelji pregledovali ocene, ki jih je ustvarila UI. 42 % povratnih informacij stroja so ocenili kot nejasne ali napačne, spremenili pa so jih le 9 %. Opaziti napako in jo popraviti sta različna procesa.

Nasproten pol je prikrivanje. Učitelji svojo lastno uporabo UI skrivajo pred sodelavci in učenci ter jim prepovedujejo tisto, kar sami počnejo: 77 % jo zasebno uporablja, 57 % pa jih pravi, da je učenci nikoli ne bi smeli uporabiti za ustvarjanje idej. Medtem je raziskava akademsko sposobnih učencev od 6. do 8. razreda pokazala, da med tretjino in dvema petinama že pravi, da UI ve več kot njihovi učitelji. Poklic, ki skriva svoje prakse, ne more biti zgled odgovorne prakse, in preglednost ni le vljudnost. Je mehanizem, po katerem deluje učenje z zgledom.

Ali UI izenačuje razmere ali jih nagiba?

Pri delovnih nalogah UI izenačuje razlike. V enem poskusu so udeleženci z višjo izobrazbo dosegli bistveno boljše rezultate kot tisti z nižjo izobrazbo. Ko je vsak dobil UI-asistenta, so te razlike skoraj popolnoma izginile. Nato so asistenta znova odvzeli, in velik del razlik se je vrnil. UI je zaprla vrzel v izdelku, ne vrzeli v sposobnosti.

Pri učnih nalogah je ravno obratno. Ena raziskava ni odkrila nobene povprečne koristi, temveč se je razlika med učenci, ki so že veliko znali, in tistimi, ki niso, celo povečala. Druga je preučevala učence, ki pišejo v tujem jeziku: šibkejši pisci so od UI prejeli več popravkov in jih uspešno upoštevali manj, mnogim pa se je poplava povratnih informacij zdela potrta. Povratna informacija brez sposobnosti, da bi jo razvrstili, ne pomaga; zasuje.

Vrzel obstaja tudi, preden kdorkoli sploh seže po orodju. V Nemčiji 80 % učencev iz najbolj premožnih družin UI vidi kot priložnost, v primerjavi s 55 % iz najmanj premožnih. V Britaniji razkol poteka skozi zbornico, ne skozi omaro z napravami: 45 % učiteljev na zasebnih šolah je bilo formalno usposobljenih za uporabo UI, v primerjavi z 21 % na javnih šolah. Znotraj javnega sektorja bogatejše šole spet prehitevajo revnejše. Anketa med otroki v 20 evropskih državah odkrije enak družbeni razkol v tem, koliko in kako raznoliko uporabljajo UI. En stavek zajame celoten problem bolje kot katerakoli številka: „bogati imajo dostop do tehnologije in do ljudi, ki jim pomagajo pri njeni uporabi, revni pa imajo dostop le do tehnologije.“ To je najmočnejši razpoložljivi argument, da so učitelji ključni za zapiranje te vrzeli.

Ozko grlo je torej, ali ima učenec dostop do učitelja, ki je bil usposobljen. UI kompenzira, kadar se hkrati izpolnijo tri pogoji: zanesljiv dostop, orodje, zasnovano za učenje in ne za dajanje odgovorov, ter učitelj, ki podpira njegovo uporabo. Odstranite katerega koli od njih, in namesto izenačevanja pride do ojačanja razlik. Ker so vsi trije pogoji ponavadi prisotni na istih šolah in odsotni na istih šolah, je ojačanje privzeto stanje, izenačevanje pa je nekaj, kar je treba zgraditi.