Slik hjalp Claude forskere med å få tilgang til OpenAI-kontoer via et forum

Kort forklart: Hacktron beskriver hvordan forskerne brukte Claude til å utvikle et angrep som ga tilgang til OpenAI-kontoer via selskapets forum. Arbeidet var styrt av mennesker, ikke av en modell som selv bestemte seg for å angripe OpenAI.

Inngangen var en bildeopplasting

Discourse er programvare for diskusjonsfora. Når noen laster opp et bilde, må serveren behandle filen før den kan vises. Da leser serveren data som en annen person har sendt inn.

I sikkerhetsvarselet fra 28. juli bekrefter Discourse en feil i libheif, programvare som brukes til bildebehandling. En spesiallaget bildefil kunne få serveren til å kjøre angriperens instruksjoner.

Discourse leverte en rettet versjon av biblioteket og ekstra isolasjon av bildebehandlingen på systemer som støtter det. Slik isolasjon begrenser hva prosessen som behandler bildet, kan få tilgang til.

Hvordan forumet kunne gi tilgang videre

I rapporten publisert 13. september beskriver Hacktron arbeidet fra juli. Claude hjalp med angrepskoden. En egen feil i OpenAIs innlogging ga tilgang videre til ChatGPT og Codex. Forskerne oppgir at de demonstrerte tilgang til et internt GitHub-repository gjennom Codex, og at OpenAI rettet sin feil i juli.

Felles innlogging lar samme identitet brukes i flere tjenester. Et tilkoblet verktøy kan dessuten handle med tilganger kontoen har fått. Derfor kan konsekvensene av en overtatt konto strekke seg lenger enn til tjenesten der innbruddet startet.

Hva dette forteller om AI-hacking

Å lage angrepskode og å utføre handlinger med verktøy er forskjellige oppgaver. For å forstå modellens rolle må vi også vite hvilke beslutninger mennesker tok, og hvilken tilgang modellen fikk. Saken beskriver et styrt forskningsarbeid. Den dokumenterer ikke at en hvilken som helst chatbot kan bryte seg inn i en hvilken som helst bedrift.