Halucinacije AI: zakaj nastanejo in kako jih zmanjšati

Halucinacije AI so eden glavnih razlogov, da prepričljivega odgovora ne smete samodejno obravnavati kot preverjenega dejstva. Pomočnik lahko pravilno povzame večino pogodbe, nato pa doda odpovedni rok, ki ga v dokumentu sploh ni. Prav ta kombinacija uporabnosti in neopaznih napak zahteva premišljen način dela.

V podjetju posledice niso omejene na nerodno besedilo. Napačna razlaga razpisnega pogoja, izmišljen podatek o izdelku ali zastarelo interno pravilo lahko povzročijo napačno odločitev. Rešitev zato ni zgolj »boljši model«, temveč postopek, ki povezuje kakovostne vire, ustrezna navodila in preverjanje.

V nadaljevanju boste izvedeli, zakaj takšne napake nastajajo, kako pri njih pomaga RAG in kako postaviti praktičen nadzor tudi v manjši slovenski ekipi.

Kaj so halucinacije AI in kaj niso?

Halucinacija AI je vsebinsko napačen, izmišljen ali z razpoložljivim virom nepodprt odgovor, predstavljen kot dejstvo. Ni nujno očitna: pogosto gre za eno samo napačno podrobnost v sicer uporabnem besedilu.

V praksi je koristno razlikovati med dvema položajema:

• Napačna trditev o svetu: model navede neobstoječ predpis, napačnega avtorja ali izmišljen poslovni podatek.
• Odstopanje od podanega vira: model v povzetek vnese sklep, ki ga dokument ne podpira, ali vsebino predstavi drugače, kot je zapisana.

Drugi primer je posebej pomemben pri delu z internim znanjem. Trditev je lahko na splošno verjetna, vendar za vaše podjetje ne velja. Običajna praksa v panogi ni dokaz, da enako določa tudi vaša pogodba.

Vsaka napaka sistema sicer ni halucinacija. Napačno prebrana številka zaradi slabega optičnega prepoznavanja besedila, nedosegljiv dokument in nepravilno izveden izračun imajo lahko drugačen neposredni vzrok. Razlika je pomembna, ker potrebujete drugačen popravek.

Prav tako izmišljena vsebina ni problem, kadar ste jo izrecno naročili kot zgodbo ali jasno označen hipotetični primer. Tveganje nastane, ko se izmišljeno predstavlja kot resnično. Zato že pri naročilu določite, ali želite ustvarjalni osnutek ali odgovor, omejen na dokazljive podatke.

Zakaj jezikovni modeli ustvarjajo napačne odgovore?

Jezikovni modeli ustvarjajo besedilo na podlagi naučenih vzorcev in trenutnega konteksta. Njihova sposobnost oblikovanja verjetnega odgovora ni enaka sprotnemu preverjanju resničnosti vsake trditve.

Razlogi se pogosto prepletajo:

• Manjkajoče znanje: model nima dostopa do vašega pravilnika, nove pogodbe ali zadnje spremembe razpisa.
• Zastarele informacije: podatki iz učenja ali uporabljenega dokumenta ne odražajo več trenutnega stanja.
• Dvoumno vprašanje: ni jasno, za katero podjetje, obdobje, državo ali različico dokumenta sprašujete.
• Napačna predpostavka: vprašanje že predpostavlja nekaj, kar ne drži, model pa predpostavko sprejme.
• Nepopoln kontekst: pri iskanju ali obdelavi dolgega dokumenta manjka pomembna izjema oziroma priloga.
• Napačno povezovanje: model združi podatke iz različnih virov, kot da se nanašajo na isti primer.

Predstavljajte si kadrovsko službo v slovenskem proizvodnem podjetju. Vprašanje »Koliko dni dopusta pripada zaposlenemu?« nima enega odgovora brez dodatnih podatkov. Če pomočnik kljub temu navede natančno število, je lahko zapolnil informacijsko vrzel z neutemeljeno domnevo.

Modelov samozavesten slog pri tem ni merilnik pravilnosti. Tudi njegova lastna ocena »95-odstotno sem prepričan« brez ustreznega preverjanja ni zanesljiva verjetnost.

Napake ChatGPT niso posebnost enega ponudnika. Pojavljajo se pri različnih generativnih pomočnikih, pogostost in oblika pa sta odvisni od modela, naloge in dostopnih virov. Za širši okvir uporabe preberite ChatGPT za podjetja: kaj morate vedeti pred uvedbo.

Kako prepoznate najbolj tvegane napake?

Največ pozornosti namenite trditvam, ki jih lahko nekdo neposredno uporabi za odločitev: številkam, rokom, pogojem, navedbam predpisov in obveznostim. Njihova navidezna natančnost ne pomeni, da imajo ustrezno podlago.

Spodnji primeri so ponazoritve možnih napak, ne opisi dejanskih dogodkov.

Poseben opozorilni znak je odgovor z veliko podrobnostmi, ki jih uporabnik ni posredoval in jih sistem ni mogel pridobiti iz preverljivega vira. Vendar tudi kratek odgovor ni nujno pravilen.

Pri ponudbi za slovensko javno naročilo preverite predvsem obvezne priloge, roke in izključitvene pogoje. Jezikovno lep povzetek razpisa ne pomaga, če izpusti pogoj, zaradi katerega bi bila ponudba neustrezna. Pregled zato razporedite glede na posledice napake, ne glede na dolžino odgovora.

Kako RAG zmanjšuje halucinacije AI?

RAG modelu pred pripravo odgovora zagotovi ustrezne odlomke iz dokumentov ali drugih virov. Tako zmanjša potrebo po odgovarjanju zgolj iz naučenih vzorcev, vendar pravilnosti ne zagotavlja samodejno.

Postopek je poenostavljeno takšen: sistem poišče vsebino, povezano z vprašanjem, izbrane odlomke doda kontekstu, model pa na tej podlagi oblikuje odgovor. Podrobnejšo razlago najdete v članku RAG: kaj je in zakaj je ključen za AI nad podatki podjetja.

Pri vprašanju o reklamacijah lahko pomočnik tako uporabi vaš veljavni pravilnik namesto splošnega opisa običajnega reklamacijskega postopka. To je pomembna izboljšava, če so izpolnjeni osnovni pogoji:

• Vir je vsebinsko pravilen in veljaven.
• Sistem poišče pravi dokument in ustrezne odlomke.
• Odlomki vključujejo povezane izjeme, opombe in tabele.
• Model odgovora ne razširi z nepodprtimi domnevami.
• Uporabnik sme dostopati do uporabljenih informacij.

Kaj lahko odpove tudi pri RAG?

Če je v zbirki pet različic pravilnika brez jasnih datumov veljavnosti, lahko sistem uporabi napačno. Če je tabela v skeniranem PDF slabo prepoznana, je lahko že vhodni podatek napačen. Če je izjema zapisana v drugem poglavju, je iskanje morda ne zajame.

Pomembno je tudi razlikovanje med obstojem vira in podporo konkretni trditvi. Povezava do pogodbe ni dovolj: v njej mora dejansko pisati to, kar odgovor zatrjuje.

Dokumenti lahko vsebujejo tudi zlonamerna navodila, namenjena preusmerjanju pomočnika. To ni isto kot halucinacija, lahko pa prispeva k nezanesljivemu izhodu. Zato naj sistem dokumente obravnava kot podatke, ne kot pooblastilo za spreminjanje svojih pravil.

Za kakovosten RAG potrebujete lastnika zbirke znanja, urejene različice in testna vprašanja. Zgolj nalaganje velike količine dokumentov še ni upravljanje znanja.

Katerih sedem ukrepov najbolj pomaga v praksi?

Najbolj uporaben pristop združuje omejevanje naloge, urejene vire in preverjanje pomembnih trditev. Posamezno navodilo modelu pomaga, vendar je zanesljivejši celoten postopek.

1. Določite obseg vprašanja. Navedite podjetje, obdobje, dokument in želeno vrsto odgovora. Namesto »Pojasnite pogoje garancije« vprašajte po pogojih za točno določen izdelek in veljavno različico dokumentacije.
2. Priložite ustrezne vire. Uporabite potrjene dokumente, ne naključne mešanice osnutkov in arhivskih datotek. Pri informacijah, ki se pogosto spreminjajo, preverite aktualni primarni vir.
3. Dovolite odgovor brez sklepa. Izrecno zahtevajte, naj pomočnik pove, kadar podatka ni, in postavi dodatno vprašanje, kadar je zahteva dvoumna.
4. Zahtevajte sledljivost trditev. Pri pomembnih odgovorih naj navede dokument, razdelek in podporni odlomek, če so ti podatki na voljo. Nato preverite, ali se navedba res ujema s trditvijo.
5. Ločite dejstva, izračune in predloge. Predlog izboljšave postopka ne sme biti predstavljen kot že veljavno interno pravilo.
6. Uporabite primerna orodja. Zneske in obračune preverjajte s preglednico, kalkulatorjem ali poslovnim sistemom. Model lahko pripravi formulo, vendar morate preveriti tudi vhodne podatke in uporabljeno pravilo.
7. Določite odgovornega pregledovalca. Za zunanjo komunikacijo, pogodbe, kadrovske odločitve in finančne obveznosti določite, kdo potrdi rezultat pred uporabo.

Primer navodila za odgovor iz dokumentov

Odgovorite samo na podlagi priloženih dokumentov. Za vsako pomembno trditev navedite naslov dokumenta in razdelek, če je označen. Če dokument ne vsebuje odgovora, napišite: »V priloženih virih tega podatka ni.« Ločite neposredno navedena dejstva od sklepov. Če si viri nasprotujejo, opišite nasprotje in ne izberite različice brez pojasnila. Ne dodajajte manjkajočih rokov, zneskov ali pravnih podlag.

To navodilo je dobra delovna osnova, ne tehnično jamstvo. Model ga lahko upošteva nepopolno, zato pomembne navedbe še vedno preverite.

Tudi nižja nastavitev temperature, kadar jo orodje omogoča, ni stikalo za resnico. Lahko zmanjša variabilnost odgovorov, ne popravi pa napačnega vira ali manjkajočega znanja. Prav tako ponovitev istega odgovora večkrat zapored ni neodvisen dokaz pravilnosti.

Kako merite zanesljivost AI v svojem podjetju?

Zanesljivost AI merite na reprezentativnih nalogah iz svojega delovnega okolja, ne samo po splošnem vtisu. Uporaben test vključuje vprašanja z znanim odgovorom, vprašanja brez odgovora in primere z nasprotujočimi si viri.

Za začetni preizkus izberite obvladljiv nabor resničnih vprašanj iz podpore strankam, prodaje ali internih postopkov. Za vsako vprašanje določite pričakovani odgovor, sprejemljive različice in dokument, ki odgovor potrjuje. Vključite tudi slovenske izraze, kratice ter oznake izdelkov, ki jih ekipa dejansko uporablja.

Spremljajte vsaj štiri vidike:

• Vsebinsko pravilnost: ali odgovor vsebuje dejanske napake?
• Podprtost z viri: ali navedeni odlomek potrjuje konkretno trditev?
• Popolnost: ali manjka pomembna izjema ali obvezni korak?
• Ustrezno zadržanost: ali pomočnik pravilno prepozna, da odgovora ni mogoče določiti?

Ne združujte vseh napak v eno povprečno oceno. Napačna vejica in izmišljen rok za oddajo ponudbe nimata enake poslovne teže. Posebej označite napake, zaradi katerih rezultat ne sme v uporabo brez popravka.

Pri RAG ločeno preverite iskanje in sestavljanje odgovora. Če pravilnega odlomka ni med pridobljenimi viri, izboljšujte zbirko in iskanje. Če je odlomek prisoten, odgovor pa ga napačno razloži, preverite navodila, model in način podajanja konteksta.

Primerjavo ponovite po menjavi modela, posodobitvi zbirke ali spremembi navodil. Če uporabite drug model kot ocenjevalca, njegove ocene obravnavajte kot pomoč pri pregledu, ne kot končno resnico. Za širšo organizacijo pilota je uporaben vodnik za uvedbo umetne inteligence v podjetju.

Kako pri nadzorovani uporabi pomaga WorkenAI?

WorkenAI združuje različne modele, delo z internimi dokumenti in nadzor uporabe v enem delovnem okolju. Te funkcije lahko podprejo proces zmanjševanja napak, ne pomenijo pa, da so vsi odgovori samodejno pravilni.

Za obravnavano težavo so pomembne predvsem naslednje možnosti:

• RAG nad dokumenti: povezovanje virov, kot so Google Drive, SharePoint, OneDrive in Confluence, omogoča odgovarjanje s kontekstom podjetja.
• Primerjava modelov v Areni: isto nalogo lahko primerjate med modeli ter izbiro oprete na lastne preizkuse.
• Vloge in dostopi: določite, kdo sme uporabljati posamezne dele delovnega okolja.
• Spremljanje uporabe: podatki o uporabniku, modelu, porabi in stroških podpirajo upravljanje ter analizo uporabe.

Pomembna je meja med vsebinsko pravilnostjo in varnostjo. Varovala oziroma guardrails lahko pomagajo pri zaščiti osebnih podatkov, zaznavanju zlonamernih navodil in uveljavljanju pravil. Sama po sebi pa ne dokazujejo, da je naveden dobavni rok pravilen.

Pri izbiri načina uporabe preglejte varnostne možnosti WorkenAI in preverite, kateri podatki se posredujejo modelu. Tudi odlomki dokumentov, vključeni v poziv, so podatki, ki jih morate ustrezno zaščititi. Tehnična pojasnila poiščite med pogostimi vprašanji, možnosti komercialnega dogovora pa preverite v razdelku o cenah in paketih.

Zaključek

Halucinacije AI zmanjšujete z dokazljivo podlago za odgovore in jasnim postopkom preverjanja, ne z zaupanjem v samozavesten slog. Najboljši prvi korak je ena omejena naloga, urejena zbirka dokumentov in vnaprej določena merila uspešnosti.

Začnite pri postopku, kjer lahko hitro preverite rezultat. Zabeležite napake, izboljšajte vire in določite, kdaj mora odločitev prevzeti človek. Šele nato razširite uporabo na zahtevnejše naloge.

Če želite tak način dela podpreti z enotnim okoljem za modele, dokumente in nadzor, si oglejte WorkenAI. Pri presoji rešitve naj bodo odločilni rezultati na vaših primerih, ne obljuba, da AI nikoli ne bo naredil napake.