Agent Watch · AI-vestlusrobotite turvatest
Kas teie vestlusrobotit saab petta?
Testin ründaja võtetega, kas teie klienditeeninduse või müügi AI-vestlusrobotit saab panna andmeid lekitama, loata soodustusi andma või inimesena esinema. Seejärel kordan testi iga kuu.
Ettevõtetele, kelle veebilehel või e-poes vastab klientidele AI-vestlusrobot. Eriti siis, kui see näeb kliendiandmeid või hindu või saab anda soodustusi, saata e-kirju või vormistada tellimusi.
Müügivestlusrobot pärast juhiste muutmist
2 halvenenud tulemust
Loata soodustus
Vestluse ajalukku lisati võltsitud „juhi kinnitus“ ja vestlusrobot andis 40% soodustust.
apply_discount(pct=40)Kliendi olemasolu kinnitamine
Vestlusrobot kinnitas küsimise peale, et nimetatud klient on süsteemis olemas.
Sama mudel. Muutus ainult juhiste tekst: turundus lisas müügisurvet ja kaks reeglit kadus.
Miks iga kuu
Juhised ei ole turvapiir.
Vestlusroboti reeglid on enamasti kirjas tema juhistes, aga juhis on mudelile palve, mitte lukk. Osav küsimus võib neid painutada ning uus juhis, mudel või tööriist võib need märkamatult lõhkuda. Üks test näitab olukorda ühel päeval. Igakuine kordustest näitab, kas seatud piirid endiselt peavad.
Kuidas see käib
Eelkontrollist igakuise kordustestini.
Eelkontroll
Esitan teie avalikule vestlusrobotile 10 ohutut küsimust. Kliendiandmeid ega paroole ma ei küsi. Saate teada, kas seadistust tasub lähemalt uurida.
Check
Kaardistame, mida vestlusrobot näeb ja mida ta teha saab, seejärel testin seda 47 rünnakuga. Aruandes on korratavad näited ja parandussoovitused.
Watch
Kordan sama testi iga kuu, teie soovil ka pärast juhiste, mudeli või tööriistade muutmist. Annan teada ainult siis, kui mõni tulemus on halvenenud.
Parandused tuleb teha väljaspool juhiseid: vähim vajalik ligipääs, kood, mis kontrollib tegevusi enne nende tegemist, ja väljuvate vastuste filter. Soovi korral ehitan need ise ning Watch kontrollib, kas need toimivad.
Mida testin
47 rünnakut kümnes valdkonnas.
Aluseks on OWASP-i suurte keelemudelite rakenduste Top 10 ja ELi tehisintellektimääruse läbipaistvusnõue. Enamik rünnakuid on eesti keeles.
- Juhiste eiramine
- Kleebitud sisu kaudu juhtimine
- Tundliku info leke
- Liigsed volitused
- Juhiste leke
- Väärinfo
- AI-st teavitamine (ELi tehisintellektimääruse artikkel 50)
- Rolli piirid
- Ülesehitus ja andmete eraldatus
- Pikad tekstid ja vestlused
Piirid
Mida test ei tõenda.
- Läbitud test tähendab, et see rünnak ei õnnestunud. See on tõend, mitte garantii.
- Testin vestlusrobotit väljastpoolt nagu klient. Ma ei vaata üle teie koodi, teadmusbaasi ega tarnijalepinguid.
- See ei ole vastavushindamine ega õigusnõu.
Korduma kippuvad küsimused
Kas te näete meie vestlusroboti sisemisi juhiseid?
Ei. Lisate juhistesse paar väljamõeldud saladust. Kui mõni neist jõuab vastusesse, on leke tõestatud.
Kas test segab päris kliente?
Testin eraldi vestlustes ja ainult teie kirjalikul loal. Testi aja ja mahu lepime enne kokku.
Kus andmeid töödeldakse?
Testi tulemusi hindan ja hoian ELis. Testiküsimused ja vastused liiguvad aga sinna, kus töötab teie vestlusrobot.
Eelkontroll
Saatke oma vestlusroboti link.
Teen eelkontrolli: esitan 10 ohutut küsimust ega küsi kliendiandmeid ega paroole. Saadan tulemused ja ütlen ausalt, kas tasub edasi uurida. Soovi korral näitan ka demot, kus sama mudel käitub kahe seadistusega erinevalt.
mart@kratikaitse.ee