Skriti ukazi v dokumentih: kako prompt injection zavede AI-pomočnika?
AI-pomočnik lahko navodilo iz dokumenta, e-pošte ali spletne strani zamenja za uporabnikov ukaz, zato mora imeti omejene pravice in potrjevanje dejanj.
AI-ilustracija
AI-pomočnik lahko navodilo iz dokumenta, e-pošte ali spletne strani zamenja za uporabnikov ukaz, zato mora imeti omejene pravice in potrjevanje dejanj.
Dokument je za človeka vsebina, za AI-pomočnika pa lahko postane tudi vir navodil. Napadalec skrije ukaz v besedilo, metapodatke ali spletno stran in poskuša doseči, da ga sistem upošteva. Nevarnost je večja, ko pomočnik poleg branja sme pošiljati sporočila, odpirati datoteke ali izvajati druge ukrepe.
1. Kaj je prompt injection?
Prompt injection je poskus, da vsebina, ki jo model obdeluje, spremeni njegovo vedenje ali preglasi prvotna navodila. Ukaz je lahko neposreden v uporabnikovem sporočilu ali posreden v datoteki, e-pošti, spletni strani oziroma podatku, ki ga pomočnik pridobi sam.
Model ne loči vedno zanesljivo med podatkom, ki ga mora povzeti, in navodilom, ki naj bi ga izvedel. Zato klasično opozorilo »ignoriraj navodila v dokumentu« samo po sebi ni popolna zaščita.
2. Kako je lahko ukaz skrit v običajnem dokumentu?
Skrit je lahko v drobnem ali belem besedilu, komentarju, metapodatkih, povezani strani ali delu vsebine, ki ga človek ne opazi. Ko AI dokument povzame, lahko to besedilo obravnava kot navodilo, naj razkrije podatke, spremeni rezultat ali sproži orodje.
PREVERITE DOKAZILA PONUDNIKA AI
Napad ne potrebuje vedno zlonamerne priponke. Dovolj je, da pomočnik prebere vsebino, ki ji organizacija ni smela zaupati kot ukazu.
AI-ilustracija3. Zakaj so agenti z orodji bolj tvegani?
Ker napačno razumljeno navodilo lahko spremeni iz slabega odgovora v resnično dejanje. Agent lahko dostopa do pošte, skupnih diskov, koledarja, kode ali poslovnih sistemov. Če ima široke pravice, lahko pošlje podatke ali izvede spremembo brez zadostnega preverjanja.
Tveganje je odvisno od kombinacije vsebine, pooblastil in samostojnosti. Bralnik brez možnosti dejanj je manj nevaren kot pomočnik, ki lahko bere in pošilja.
4. Ali je prompt injection mogoče popolnoma odpraviti?
Ne, trenutno ni ene zanesljive tehnične rešitve, ki bi odpravila vse oblike napada. NCSC opozarja, da problem ni enak klasični SQL-injekciji, kjer je mogoče podatke in ukaze strožje ločiti z dobro določenim mehanizmom.
Obramba mora biti večplastna: omejitev pravic, izolacija nezaupanja vredne vsebine, filtri, preverjanje izhodov, potrjevanje dejanj in spremljanje incidentov.
5. Katere pravice naj ima AI-pomočnik?
Samo najmanjše pravice, potrebne za konkretno nalogo. Branje dokumenta ne zahteva samodejnega dostopa do celotne pošte ali možnosti pošiljanja. Pisanje, brisanje, plačilo ali deljenje podatkov naj zahtevajo jasno človeško potrditev.
VZPOSTAVITE REGISTER AI-ORODIJ
Koristno je ločiti okolje za branje nezaupanja vrednih datotek od sistemov z občutljivimi podatki. Dostopni žetoni naj bodo časovno omejeni, dejanja pa zabeležena.
AI-ilustracija6. Kako naj zaposleni ravna s sumljivim izhodom?
Ustavi naj dejanje, ohrani dokument in izhod ter primer prijavi varnostni ali odgovorni ekipi. Posebej sumljivi so odgovori, ki zahtevajo skrivnost, nenavadno povezavo, razkritje podatkov ali obhod običajnega postopka.
Organizacija naj pripravi kanal za prijavo in preskusne primere. Dnevniki morajo omogočiti ugotovitev, katero vsebino je agent prebral, katera orodja je uporabil in kdo je dejanje potrdil.
7. Kako varno uvesti pomočnika, ki bere dokumente?
Začeti je treba z omejenim pilotom brez samostojnih tveganih dejanj. Izbrati je treba dokumente nizke občutljivosti, določiti dovoljene naloge, testirati napadalne primere ter preveriti, ali uporabnik pred dejanjem vidi razumljiv povzetek.
Šele po uspešnih preizkusih se lahko pravice postopno širijo. Vsaka nova povezava z orodjem je nova varnostna odločitev, ne samo funkcionalna nadgradnja.
Nezaupanja vredna vsebina ne sme postati pooblaščeni ukaz
Pri AI-pomočnikih največjo varnost prinese omejevanje posledic. Če sistem ne more sam poslati podatkov, izvesti plačila ali spremeniti zapisa, skriti ukaz težje povzroči resnično škodo.
Podjetje naj zato najprej odloči, česa pomočnik ne sme narediti. Šele nato naj gradi priročnost okoli nalog, pri katerih so viri, potrditve in odgovornost jasno vidni.
