Ghostjacking: En blokkert forespørsel kan fortsatt nå AI-agenten
Tenet viser hvordan innhold i logger kan styre en agent. At agenten leser en hendelse, bør ikke gi hendelsen myndighet til å endre systemer.
Forsidebildet er en AI-generert redaksjonell illustrasjon. Skjermer og dokumenter er illustrerte konsepter.
En blokkert forespørsel er ikke nødvendigvis borte. Hvis innholdet blir skrevet til en logg, kan en AI-assistent møte det senere under undersøkelsen av hendelsen.
Tenet Securitys Ghostjacking-forskning viser angrep gjennom overvåkings- og sikkerhetsverktøy, blant annet Cloudflare, Datadog og Sentry. Fellesnevneren er at agenten behandler angriperkontrollert innhold som grunnlag for å bruke sine egne, legitime tilganger.
Loggen har mer enn én avsender
Plattformen lager selve loggoppføringen. En ekstern part kan likevel bestemme innholdet i enkelte felt. En pålitelig tjeneste gjør ikke all teksten den returnerer, pålitelig.
Forskjellen kan bli borte når en assistent oppsummerer hendelsen for en annen. Den neste ser en anbefaling i stedet for den opprinnelige teksten. Den trenger fortsatt å vite hvor anbefalingen kommer fra, og hva den bygger på.
Vi anbefaler å bevare informasjon om opphavet gjennom arbeidsflyten. Enda viktigere er det at tilgangskontrollene begrenser hva agenten som undersøker, kan endre.
Skill undersøkelsen fra beslutningen
En assistent som leser et varsel, trenger ikke nødvendigvis rett til å endre DNS, installere pakker eller gjøre produksjonsendringer. Gi den tilgangene som kreves for undersøkelsen, og legg viktige endringer bak en egen beslutning.
Godkjenningen bør vise handlingen, målet og begrunnelsen. En generell beskjed om å «rette problemet» gir lite vern hvis selve problembeskrivelsen er manipulert.
Ta med denne veien i en avtalt test. Legg ufarlig tekst som ligner instruksjoner, i en testhendelse, og undersøk om assistenten behandler den som informasjon eller som en kommando. Se på verktøykallene, ikke bare sluttsvaret.
Brannmuren kan ha blokkert trafikken riktig selv om logginnholdet blir håndtert feil senere. Begge grensene må vurderes. Et kjent sikkerhetsverktøy eller API-svar beviser ikke at agentens neste handling er riktig.
