Studie Avdekker at Store AI-Agentene er Sårbare for Kapring

Noen av de mest brukte AI-assistentene fra Microsoft, Google, OpenAI og Salesforce kan bli kapret av angripere med liten eller ingen brukerinteraksjon, ifølge ny forskning fra Zenity Labs.

Presentert på Black Hat USA-konferansen om nettsikkerhet, viser funnene at hackere kan stjele data, manipulere arbeidsflyter og til og med utgi seg for å være brukere. I noen tilfeller kan angripere oppnå «minnepersistens», som tillater langvarig tilgang og kontroll.

«De kan manipulere instruksjoner, forgifte kunnskapskilder og fullstendig endre agentens oppførsel,» fortalte Greg Zemlin, produktsjef hos Zenity Labs, til Cybersecurity Dive. «Dette åpner døren for sabotasje, operasjonelle forstyrrelser og langvarig desinformasjon, spesielt i miljøer hvor agenter stoler på å ta eller støtte kritiske beslutninger.»

Forskerne demonstrerte fullstendige angrepskjeder mot flere store bedrifts AI-plattformer. I ett tilfelle ble OpenAI’s ChatGPT kapret gjennom en e-postbasert prompt injeksjon, noe som tillot tilgang til tilknyttede Google Drive-data.

Microsoft Copilot Studio ble oppdaget med å lekke CRM-databaser, med mer enn 3 000 sårbare agenter identifisert på nettet. Salesforce’s Einstein-plattform ble manipulert for å omdirigere kundekommunikasjon til angriper-kontrollerte e-postkontoer.

I mellomtiden kunne Googles Gemini og Microsoft 365 Copilot bli forvandlet til interne trusler, i stand til å stjele sensitive samtaler og spre falsk informasjon.

I tillegg klarte forskere å lure Googles Gemini AI til å kontrollere smarte hjemmeenheter. Hackingen skrudde av lys, åpnet persienner, og startet en varmtvannsbereder uten residente kommandoer.

Zenity offentliggjorde sine funn, noe som førte til at noen selskaper utstedte oppdateringer. “Vi setter pris på arbeidet Zenity har gjort med å identifisere og ansvarlig rapportere disse teknikkene,” sa en talsperson for Microsoft til Cybersecurity Dive. Microsoft sa at den rapporterte oppførselen “ikke lenger er effektiv” og at Copilot-agenter har sikkerhetstiltak på plass.

OpenAI bekreftet at de har patchet ChatGPT og driver et bug-bounty-program. Salesforce sa at de har løst det rapporterte problemet. Google sa at de har utplassert «nye, lagdelte forsvar» og understreket at «å ha en lagdelt forsvarsstrategi mot prompt injeksjonsangrep er avgjørende,» som rapportert av Cybersecurity Dive.

Rapporten fremhever økende sikkerhetsbekymringer ettersom AI-agenter blir mer vanlige på arbeidsplasser og er betrodd til å håndtere sensitive oppgaver.

I en annen nylig undersøkelse, ble det rapportert at hackere kan stjele kryptovaluta fra Web3 AI-agenter ved å plante falske minner som overstyrer normale sikkerhetstiltak.

Sikkerhetsfeilen finnes i ElizaOS og lignende plattformer fordi angripere kan bruke kompromitterte agenter til å overføre midler mellom forskjellige plattformer. Den permanente naturen til blockchain-transaksjoner gjør det umulig å hente tilbake stjålne midler. Et nytt verktøy, CrAIBench, har som mål å hjelpe utviklere med å styrke forsvarsmekanismene.