Cloudflare lar nettsteder kreve AI-roboter for ‘Betaling Per Kryp’

Cloudflare gir utgiverne en ny mulighet: å ta betalt fra AI-bots for å krype gjennom nettstedene deres ved hjelp av et gjenopplivet HTTP 402 betalingssystem.

Gjennom sitt nye «Pay Per Crawl» system kan nettsideeiere ta betalt fra AI-bots for å få tilgang til deres innhold. Systemet gir utgivere et alternativt tilnærming fra deres nåværende to-valgs politikk som enten tillater AI data scraping, eller total blokkering av AI tilgang.

«Mange forleggere, innholdsprodusenter og nettsideeiere føler for tiden at de står overfor et binært valg – enten åpne døren på vidt gap for AI til å konsumere alt de skaper, eller å skape sin egen lukkede hage,» sa Cloudflare. “Men hva om det fantes en annen måte?”

Med Pay Per Crawl kan innholdsprodusenter nå bestemme hvem som får tilgang og til hvilken pris. De kan la noen AI-crawlere slippe inn gratis, blokkere andre helt, eller ta betalt for tilgang. “Vi ønsket at innholdsprodusenter skulle ha kontroll over hvem som får tilgang til arbeidet deres,” sa Cloudflare. “Skaperne burde være i førersetet.”

Beslutningen kommer i kjølvannet av økende kritikk mot AI-selskaper som bruker innhold fra nettet uten samtykke. For eksempel har YouTube blitt kritisert for å tillate Google å video scrape uten å varsle skaperne. I tillegg har Googles AI Overviews-funksjon redusert trafikken til nyhetsnettsteder som HuffPost og The Washington Post med mer enn 50%.

“Google tar bare innhold med makt og bruker det uten å gi noe tilbake – definisjonen av tyveri,” sa Danielle Coffey, president for News/Media Alliance.

Verktøyet fungerer ved hjelp av en gammel webfunksjon: HTTP-responskoden 402, som står for «Betaling kreves». Hvis en AI-bot prøver å få tilgang til en side, kan serveren nå svare med en 402 og inkludere en prislapp. Hvis boten godtar å betale, leverer serveren innholdet.

Cloudflare leverer den tekniske infrastrukturen og håndterer betalinger. Utgivere kan sette en fast pris per forespørsel om crawling og til og med bruke forskjellige regler for forskjellige bots. Selv om en bot ikke er registrert hos Cloudflare, kan den fortsatt bli «belastet» – noe som i praksis blokkerer tilgang, men gir rom for fremtidige avtaler.

Dette systemet kan i fremtiden føre til mer fleksibel lisensiering og dynamisk prissetting. Som Cloudflare uttrykker det: «Ved å gi skaperne en robust, programmerbar mekanisme for å vurdere og kontrollere deres digitale eiendeler, gir vi dem mulighet til å fortsette å skape det rike, mangfoldige innholdet som gjør Internett uvurderlig.»