Človeški odločevalec v javni upravi: zakaj AI ne sme odločiti sam?
Človek mora imeti dejansko možnost preveriti dejstva, razumeti omejitve sistema in spremeniti odločitev; formalni podpis avtomatiziranega rezultata ni…
AI-ilustracija
Človek mora imeti dejansko možnost preveriti dejstva, razumeti omejitve sistema in spremeniti odločitev; formalni podpis avtomatiziranega rezultata ni dovolj.
AI lahko javnemu uslužbencu pomaga urediti dokumente, iskati vzorce ali pripraviti osnutek. Ko rezultat vpliva na pravico, obveznost ali dostop posameznika do storitve, pa postane bistveno, kdo je odločitev sprejel in ali jo je mogoče učinkovito izpodbijati.
1. Ali je vsaka uporaba AI v javni upravi prepovedana?
Ne. AI se lahko uporablja kot podporno orodje, če so namen, podatki, odgovornost in nadzor ustrezno urejeni. Razlika je med pomočjo pri administrativnem opravilu in sistemom, ki sam razvrsti, zavrne ali pomembno vpliva na posameznikov položaj.
Organ mora presoditi konkretno funkcijo, pravno podlago in posledice. Oznaka »samo priporočilo« ne pomaga, če uslužbenci rezultat v praksi vedno samodejno potrdijo.
2. Kaj omejuje 22. člen GDPR?
GDPR posamezniku praviloma daje pravico, da zanj ne velja odločitev, ki temelji izključno na avtomatizirani obdelavi ter ima pravne ali podobno pomembne učinke. Uredba pozna izjeme, vendar te zahtevajo pravno podlago in ustrezne zaščitne ukrepe.
Pomembno je vprašanje dejanskega postopka. Če človek rezultata ne preveri vsebinsko ali nima možnosti spremembe, lahko odločitev kljub podpisu ostane dejansko avtomatizirana.
AI-ilustracija3. Kaj pomeni učinkovit človeški nadzor po AI Actu?
Pomeni usposobljeno osebo, ki razume zmogljivosti in omejitve sistema ter lahko rezultat prezre, razveljavi ali uporabo ustavi. Nadzor mora biti prilagojen tveganju in vključen v delovni postopek, ne dodan samo kot zadnji klik.
Oseba potrebuje dovolj časa, dostop do relevantnih podatkov in jasno pristojnost. Brez tega je »človek v zanki« le navidezna varovalka.
4. Kako mora organ obrazložiti odločitev?
Obrazložitev mora izhajati iz preverjenih dejstev in veljavnih pravil, ne iz nerazložljive ocene sistema. Posameznik mora razumeti razloge, relevantne podatke ter možnosti popravka ali pravnega sredstva.
Organ mora ohraniti revizijsko sled: različico sistema, uporabljene podatke, opozorila, posege uslužbenca in končno odgovornost. Poslovna skrivnost ponudnika ne odpravi obveznosti organa do zakonitega postopka.
5. Zakaj je pomemben javni pregled sistemov?
Pregled povečuje odgovornost in omogoča zgodnje odkrivanje tveganj. Slovenska zbirka sistemov AI v javnem sektorju na OPSI ter informacije o uporabi AI na portalu SPOT kažeta smer večje preglednosti.
VZPOSTAVITE REGISTER AI-ORODIJ
Register sam ne zagotavlja zakonitosti, pomaga pa postaviti osnovna vprašanja: kdo sistem uporablja, za kateri namen, s katerimi podatki in kakšen vpliv ima na ljudi.
AI-ilustracija6. Kako naj organ uvede varen postopek?
Pred uporabo naj določi pravno podlago, oceni učinke, preveri podatke in opredeli človeško odločanje. Potrebni so usposabljanje, testiranje pristranskosti, obravnava napak, možnost ugovora ter redni pregledi dejanske uporabe.
Kadar ni mogoče zagotoviti razumljivega preverjanja in odgovornosti, sistema ni primerno uporabiti za odločitev z neposrednim učinkom na posameznika.
Javna odločitev potrebuje človeka, ki sme odločiti drugače
Hitrost obdelave je lahko pomembna, vendar ne sme izriniti obrazložitve in pravnega varstva. Človeški nadzor je resničen šele, ko ima uslužbenec znanje, podatke in pooblastilo za drugačen sklep.
Javni organ ne more odgovornosti prenesti na ponudnika ali algoritem. Tehnologija lahko pripravi podlago, odgovorna odločitev pa mora ostati preverljiva in izpodbojna.
