Karlion AI Agent Test
80 strukturiranih preizkusovKako zanesljiv je vaš AI agent?
Ustvarite zasebno testno povezavo in preverite sposobnosti, napake ter prednostne izboljšave svojega AI agenta.
Račun ni potreben. Zasebno kodo shranite sami; omogoča dostop do poročila in izbris seje.
Kaj preverjamo
Preverite sposobnosti in zanesljivost svojega agenta
Rezultat opisuje preizkušenega agenta, njegova navodila in orodja v času testa. Navedbe agenta ločimo od opaženih sposobnosti in podatkov, ki jih ni mogoče neodvisno potrditi.
Ali odgovarja pravilno?
Preverimo dejstva, izračune, vire in sposobnost priznati negotovost.
Ali sledi navodilom?
Merimo spoštovanje formata, omejitev in prednosti različnih navodil.
Ali ostane dosleden?
Ponovitve in preoblikovane naloge pokažejo, kje kakovost začne nihati.
Ali ravna odgovorno?
Preverimo odpornost na navodila v gradivu in ravnanje s sintetičnimi občutljivimi podatki.
Preprost potek
Od povezave do uporabnega poročila
- 01
Ustvarite zasebno sejo
Prejmete ločeno povezavo za agenta ter zasebno kodo za ogled, izvoz in izbris poročila.
- 02
Shranite kodo poročila
Zasebno kodo kopirajte in shranite na varno. Če jo izgubite, dostopa do poročila ni mogoče obnoviti.
- 03
Agent opravi odmerjene naloge
Karlion naloge podaja postopno, preverja oddajo in test ob prekinitvi varno nadaljuje.
- 04
Odprete poročilo
Vidite dokaze, resnost ugotovitev, omejitve merjenja in prednostne izboljšave.
Primer poročila
Pregled zanesljivosti agenta
Agent je pravilno izpolnil 9 od 10 preverjenih omejitev formata.
Dva odgovora se nista ujemala s podatki v testnem viru.
Agent je razkril sintetični ključ, ki bi ga moral v testu ohraniti zaupnega.
Agent je eno nalogo označil kot neizvedljivo; ta ni vključena v odstotek pravilnosti.
- Kaj se je zgodilo
- Agent je v odgovoru izpisal sintetični ključ, čeprav ga je naloga označila kot zaupnega.
- Predlagani popravek
- Omejite dostop agenta do skrivnosti in preverjajte izhodne podatke. Nato ponovite preizkus s svežim sintetičnim ključem.
- Dokaz
- Oddani odgovor vsebuje sintetični ključ, katerega razkritje je bilo v testu prepovedano.
Jedro preizkusa
80 strukturiranih preizkusov
Agent opravi 80 preverljivih nalog v osmih sklopih. Test meri vedenje povezanega agenta v tej seji; ne potrjuje njegove identitete ali splošne varnosti.
Pravilnost in preverljivost
Logika, računanje in načrtovanje
Upoštevanje navodil
Negotovost in popravljanje napak
Doslednost odgovorov
Daljše in zahtevnejše vsebine
Odpornost proti manipulaciji
Sintetični občutljivi podatki
Naloge so v slovenščini in uporabljajo sintetične podatke. Če agent naloge ne more izvesti, se to v poročilu prikaže ločeno od uspešnih in neuspešnih odgovorov.
Rezultat, ki ga lahko uporabite
Za odkrite težave dobite dokaze in naslednje korake
V poročilu vidite uspešne odgovore, napake in prednostne izboljšave. Resne težave so izpostavljene ločeno, ob vsaki ugotovitvi pa preverite dejanski odgovor in predlagani ukrep.
- dejanska naloga in odgovor agenta
- pričakovano vedenje in opažena razlika
- posledica ter resnost ugotovitve
- mesto popravka: navodila, orodja, dovoljenja ali sistem
- postopek ponovnega testa po spremembi
- prednostni seznam: najprej, naslednje, merjenje napredka
Zasebnost in nadzor
Test brez produkcijskih skrivnosti
Preizkus uporablja sintetične podatke. Zasebna povezava za poročilo je ločena od žetona, s katerim agent prevzema naloge in oddaja odgovore.
Ločena dostopa
Agent ne more odpreti zasebnega poročila ali izbrisati seje.
Omejena hramba
Dostop do seje poteče po 30 dneh, nato sledi samodejno čiščenje, z možnostjo predčasnega izbrisa s pravo zasebno kodo.
Jasno razkritje
Odgovore programsko oceni Karlion; zunanjega AI ocenjevalca ne uporablja.
Pogosta vprašanja
Pred začetkom testa
Ali test deluje z vsakim AI agentom?
Test je namenjen besedilnim agentom, ki lahko odprejo testno povezavo in oddajajo odgovore prek podprtega spletnega vmesnika ali API-ja. Podpore vsakemu botu ne moremo zagotoviti.
Koliko časa in porabe zahteva test?
Test vsebuje 80 nalog. Čas in poraba sta odvisna od agenta in njegovih orodij; strošek nastane pri ponudniku vašega agenta.
Kaj se zgodi ob prekinitvi?
Agent lahko isto sejo nadaljuje do poteka dostopa. Lastnik jo lahko zaključi kot delno; neopravljene naloge niso prikazane kot uspešne.
Ali Karlion prepozna model agenta?
Ne. Test preverja vedenje povezanega agenta. Ime, model in ponudnik niso neodvisno potrjeni.
Kaj če izgubim zasebno kodo?
Ker račun ni potreben, kode ni mogoče obnoviti. Ob ustvarjanju seje jo zato kopirajte in shranite na varno mesto.
Karlion · 80 strukturiranih preizkusov