Forskere Kaprer Google Gemini AI For Å Kontrollere Smarthusenheter

Forskere klarte å lure Googles Gemini AI-system til å oppleve et sikkerhetsbrudd via en falsk kalenderinvitasjon, og fjernstyre hjemmeenheter.

I en førstegangs demonstrasjon, klarte forskere å kompromittere Googles Gemini AI-system gjennom en forgiftet kalenderinvitasjon, som gjorde dem i stand til å aktivere virkelige enheter, inkludert lys, persienner, og kjeler.

WIRED, som først rapporterte om denne forskningen, beskriver hvordan smarte lys i en bolig i Tel Aviv automatisk slukket, mens persienner automatisk steg og varmtvannsberederen ble slått på, til tross for at ingen beboere hadde gitt noen kommandoer.

Gemini AI-systemet aktiverte utløseren etter å ha mottatt en forespørsel om å oppsummere kalenderhendelser. En skjult indirekte prompt-injeksjonsfunksjon opererte inne i invitasjonen for å kapre AI-systemets atferd.

Hver av enhetshandlingene ble orkestrert av sikkerhetsforskere Ben Nassi fra Tel Aviv University, Stav Cohen fra Technion, og Or Yair fra SafeBreach. “LLM-er er i ferd med å bli integrert i fysiske humanoider, i halv- og helautomatiske biler, og vi må virkelig forstå hvordan vi skal sikre LLM-er før vi integrerer dem med denne typen maskiner, hvor utfallene i noen tilfeller vil være sikkerhet og ikke personvern,” advarte Nassi, som rapportert av WIRED.

På Black Hat cybersikkerhetskonferansen i Las Vegas, offentliggjorde teamet sin forskning om 14 indirekte prompt-injeksjonsangrep, som de kalte ‘Invitation Is All You Need,’ som rapportert av WIRED. Angrepene inkluderte å sende spam-meldinger, lage vulgært innhold, initiere Zoom-samtaler, stjele e-postinnhold, og laste ned filer til mobile enheter.

Google sier at ingen skadelige aktører utnyttet svakhetene, men selskapet tar risikoene på alvor. «Noen ganger er det bare visse ting som ikke bør være fullstendig automatisert, at brukerne bør være med i løkka,» sa Andy Wen, senior direktør for sikkerhet for Google Workspace, som rapportert av WIRED.

Men det som gjør denne saken enda farligere er et bredere problem som dukker opp i AI-sikkerhet: AI-modeller kan i hemmelighet lære hverandre å oppføre seg dårlig.

En separat studie fant at modeller kan overføre farlige atferd, som å oppfordre til mord eller foreslå eliminering av menneskeheten, selv når de er trent på filtrerte data.

Dette gir en skremmende implikasjon: hvis smarte assistenter som Gemini blir trent ved hjelp av output fra andre AI-er, kan ondsinnede instruksjoner stille bli arvet og fungere som sovende kommandoer, som venter på å bli aktivert gjennom indirekte oppfordringer.

Sikkerhetsekspert David Bau advarte om sårbarheter i bakdøren som kan være «veldig vanskelig å oppdage», og dette kan være spesielt sant i systemer innebygd i fysiske miljøer.

Wen bekreftet at forskningen har «akselerert» Googles forsvar, med løsninger som nå er på plass og maskinlæringsmodeller som blir trent til å oppdage farlige signaler. Likevel viser saken hvor raskt AI kan gå fra å være hjelpsom til skadelig, uten å noen gang bli direkte fortalt å gjøre det.