CrowdStrike: Trygge KI-svar kan bli deler av et angrep
En sikkerhetsvurdering av ett spørsmål tar ikke nødvendigvis høyde for arbeidsflyten svaret blir en del av.
Kort forklart: Et sikkerhetsfilter kan godkjenne hvert KI-spørsmål uten å se det skadelige resultatet svarene danner til sammen. CrowdStrikes nye forskning undersøker denne svakheten.
Hva fant CrowdStrike?
I forskning publisert 6. oktober rapporterer CrowdStrike at et testet sikkerhetsfilter motsto direkte forsøk på omgåelse. Likevel kunne tillatte enkeltsvar settes sammen til angrepskode i ni av ti testede sikkerhetskategorier.
Dette er et resultat fra forskernes evaluering, ikke en suksessrate for angrep mot bedrifter.
Hvorfor kan et godkjent svar bidra til skade?
Et sikkerhetsfilter vurderer om en forespørsel er tillatt. Vurderingen avhenger av informasjonen filteret har tilgang til.
Microsoft-forskere beskriver det beslektede problemet som capability laundering. Et system som kjenner det skadelige sluttmålet, kan hente hjelp til vanlige deloppgaver fra en annen modell. Den andre modellen ser enkeltspørsmålene. Systemet som setter svarene sammen, kjenner hensikten bak dem.
Forskjellen ligger i å vurdere et enkelt bidrag og å vurdere aktiviteten det inngår i.
En enkel sammenligning er tre personer som får hver sin vanlige arbeidsoppgave. Ingen ser hele prosjektet. Selv om hvert svar er uproblematisk, sier det ikke automatisk at prosjektet er legitimt.
Hva sier dette om KI-sikkerhet?
Når en bedrift sammenligner KI-tjenester, er avvisning av en skadelig forespørsel et nyttig resultat. Det besvarer ikke alle spørsmål om en arbeidsflyt med flere modeller, verktøy og steg.
Microsoft gjennomførte sine cybersikkerhetseksperimenter i isolerte testmiljøer. Verken disse testene eller CrowdStrikes publiserte evaluering fastslår hvor ofte dette skjer i faktiske angrep. Funnene handler om grensene for hva enkeltstående sikkerhetsvurderinger kan dokumentere.
CrowdStrikes forskning dokumenterer heller ikke i seg selv at et bestemt sikkerhetsprodukt oppdager denne oppførselen. Artikkelen vår om Falcon Guardian forklarer produktets oppgitte rolle i å beskytte KI-aktivitet.
