AI-hallusinasjoner utgjør nå en trussel mot nettsikkerheten

Studien viser at AI-chatbots anbefaler falske innloggingssider til millioner av brukere, noe som setter dem i fare for phishing og svindel, under påskudd av å gi hjelpsomme svar.

I deres studie, testet cybersikkerhetsfirmaet Netcraft en populær stor språkmodell (LLM) ved å spørre hvor man skal logge inn på 50 kjente merker. Av de foreslåtte 131 nettstedlenkene, var 34% av disse feil, med inaktive eller uregistrerte domener utgjør 29%, og urelaterte bedrifter står for 5%.

Dette problemet er ikke teoretisk. I et virkelig eksempel viste den AI-drevne søkemotoren Perplexity en phishing-side til en bruker som søkte etter Wells Fargo innloggingsside. En falsk Google Sites-side som etterlignet banken dukket opp øverst i søkeresultatene, mens den autentiske linken var skjult under.

Netcraft forklarte «Dette var ikke grensetilfeller. Vårt team brukte enkel, naturlig formulering, og simulerte nøyaktig hvordan en typisk bruker kanskje vil spørre. Modellen ble ikke lurt – den var rett og slett ikke nøyaktig. Det er viktig, fordi brukere i økende grad stoler på AI-drevne søke- og chatgrensesnitt for å svare på denne typen spørsmål.”

Etter hvert som AI blir standardgrensesnittet på plattformer som Google og Bing, øker risikoen. I motsetning til tradisjonelle søkemotorer, presenterer chatbots informasjon klart og med selvtillit, noe som fører til at brukere stoler på svarene deres, selv når informasjonen er feil.

Trusselen stopper ikke ved phishing. Moderne nettkriminelle optimaliserer sitt ondsinnede innhold for AI-systemer, noe som resulterer i tusenvis av svindelsider, falske API-er og forgiftet kode som glipper forbi filtre og ender opp i AI-genererte svar.

I en kampanje opprettet angriperne en falsk blockchain API, som de promoterte gjennom GitHub-repositorier og bloggartikler, for å lure utviklere til å sende kryptovaluta til en svindel lommebok.

Netcraft advarer om at det ikke er nok å registrere falske domener på forhånd. I stedet anbefaler de smartere deteksjonssystemer og bedre opplæringssikkerhetsbarrierer for å forhindre at AI i utgangspunktet finner opp skadelige URLer.