In breve

• Cloudflare ha bloccato 416 miliardi di richieste di bot AI che effettuavano scraping sui siti dei clienti da luglio 2024.
• L’iniziativa “Content Independence Day” mira a bloccare di default i crawler AI, a meno che non esistano accordi a pagamento.
• Il crawler web di Google vede oltre tre volte più siti rispetto a OpenAI o Microsoft, conferendogli un vantaggio unico.
• Bloccare il bot AI di Google comporta il rischio di perdere posizionamento nei risultati di ricerca, mettendo i publisher in una posizione difficile.
• Il CEO di Cloudflare chiede di separare i crawler di ricerca da quelli AI per riequilibrare il mercato.

La fortezza digitale contrattacca

Immagina Internet come una città brulicante, dove ogni sito web è una vetrina. Per anni, le persone entravano, curiosavano e lasciavano una mancia-traffico, clic sugli annunci o abbonamenti. Ma di recente, un esercito invisibile di robot ha iniziato a passare in rassegna tutto, copiando ogni cosa e trasmettendola a potenti motori di intelligenza artificiale. I negozianti-i creatori-si ritrovano con le proprie merci sottratte e il traffico in calo. Cloudflare, uno dei principali sentinelle di Internet, ha deciso che è ora di chiudere i cancelli della città a questi bot, soprattutto a quelli inviati dai giganti tecnologici come Google.

Perché la guerra ai crawler?

Da luglio 2024, Cloudflare ha fornito ai suoi milioni di clienti nuovi strumenti per filtrare automaticamente il traffico proveniente da bot che raccolgono dati per l’addestramento AI. La mossa, battezzata “Content Independence Day”, ribalta le regole: ora le aziende AI devono negoziare e pagare per l’accesso, invece di prenderselo di default. I numeri sono impressionanti-416 miliardi di richieste di bot bloccate in pochi mesi, segno di quanto aggressivamente i modelli AI stiano facendo scraping del web in cerca di dati freschi.

Il CEO di Cloudflare, Matthew Prince, inquadra la questione come esistenziale. Tradizionalmente, i creatori contavano sui visitatori per generare ricavi. Ma l’AI generativa, dai chatbot ai widget di ricerca, fornisce sempre più spesso risposte direttamente, bypassando le fonti originali. Questo erode il pubblico e minaccia la sostenibilità economica dei media indipendenti e dei creatori.

Il crawler a doppio taglio di Google

La controversia si riduce a come Google gestisce i suoi bot. In una mossa controversa, Google ha unito il suo crawler di ricerca con quello per la raccolta dati AI. Se un publisher blocca il bot AI di Google, rischia di sparire dai risultati di ricerca-di fatto una condanna digitale per molti. Questo approccio “tutto o niente” costringe i siti a scegliere tra proteggere i propri contenuti e mantenere la visibilità.

I dati di Cloudflare rivelano la portata di Google: il suo crawler accede a 3,2 volte più pagine rispetto a OpenAI, 4,6 volte più di Microsoft e quasi cinque volte più di Anthropic o Meta. Questo accesso privilegiato conferisce a Google una quasi-monopolio sia sulla ricerca che sull’AI, soffocando concorrenza e innovazione.

Spostare l’equilibrio del potere

La campagna di Cloudflare non è solo tecnica; è un intervento di mercato. Rendendo più facile per i publisher bloccare i bot AI (a meno che non vengano compensati), spera di favorire un Internet più pluralistico, dove piccoli editori e comunità possano sopravvivere accanto ai giganti. L’azienda sostiene che i creatori di contenuti dovrebbero poter trarre profitto dalle proprie storie umane uniche, invece di alimentare gratuitamente le macchine AI.

Guardando al futuro, Prince riconosce che potrebbe essere necessaria una legislazione per regolare l’accesso AI ai contenuti web. Per ora, Cloudflare sfrutta la propria infrastruttura per contrastare quella che considera un’eccessiva ingerenza di Google, con l’obiettivo di dare a ogni creatore-non solo alle grandi piattaforme-una possibilità di competere.

WIKICROOK

• Richiesta Bot: Una richiesta bot è un tentativo automatizzato da parte di un software di accedere ai dati o ai servizi di un sito web, spesso per motori di ricerca, addestramento AI o raccolta dati.
• Crawler: Un crawler è un software che naviga e indicizza automaticamente le pagine web, permettendo ai motori di ricerca e ad altri strumenti di scoprire e organizzare le informazioni online.
• AI Generativa: L’AI generativa è un’intelligenza artificiale che crea nuovi contenuti-come testi, immagini o audio-imitando spesso la creatività e lo stile umani.
• Indicizzazione di Ricerca: L’indicizzazione di ricerca è il processo con cui i motori di ricerca raccolgono e organizzano i dati dei siti web, rendendo le pagine facilmente ricercabili e accessibili agli utenti.
• Filtraggio dei Contenuti: Il filtraggio dei contenuti serve a schermare e bloccare l’accesso a contenuti digitali inappropriati o dannosi, aiutando a proteggere utenti e reti da minacce alla sicurezza.