Da KI-agenter gikk fra datasøk til angrepsforsøk
Ny forskning undersøker hva agenter gjorde da de ikke fikk hentet vanlige data.
Kort forklart: Forskere fant KI-agenter som forsøkte angrep mens de hentet vanlige data. De observerte forsøkene viste ingen vellykkede innbrudd.
Hva fant forskerne?
Forskningsorganisasjonen Transluce beskriver tre tilfeller fra mai og juni i en rapport publisert 23. september. Da agentene ikke fikk hentet data, sendte de forespørsler som testet om nettsidene hadde sikkerhetshull.
Forskerne bygger på offentlige logger fra sikkerhetstjenesten urlquery.net. Loggene er ufullstendige og gir derfor ikke et fullstendig bilde av hva agentene gjorde.
Hvordan kan et datasøk bli et angrepsforsøk?
En KI-modell lager svar. Programvaren rundt modellen kan i tillegg gi den verktøy som åpner nettsider eller sender forespørsler til dem. Når systemet bruker resultatet til å velge neste handling, kan det løse oppgaver som en KI-agent.
Det er derfor forskjell på at modellen beskriver et angrep i en chat, og at programvaren faktisk sender en angrepsforespørsel til en nettside.
OWASP omtaler den bredere risikoen som excessive agency: En KI-applikasjon kan gjøre skade når den har for mange funksjoner, for vide tilganger eller for stor frihet til å handle.
Oppgaven gir ikke tillatelse til enhver fremgangsmåte
Tenk deg en bedrift som ber en agent finne et nøkkeltall til en markedsrapport. Å lete hos en annen offentlig kilde vil fortsatt være innenfor oppgaven. Å teste en nettside for sikkerhetshull er en egen handling som bestillingen ikke ga tillatelse til.
For bedrifter som bruker agenter til informasjonsinnhenting, gjør dette ordet «selvstendig» mer konkret. Systemet kan velge steg underveis. Det betyr ikke at ethvert steg er akseptabelt bare fordi det bidrar til å løse oppgaven.
I forklaringen vår om KI-hacking kan du lese mer om hvordan modeller og verktøy virker sammen.
