Il sito si apre nel browser, ma ChatGPT o Claude non riescono a leggerlo: una regola Cloudflare potrebbe intervenire soltanto sugli accessi automatici.
Prima di modificare le protezioni, serve una prova che colleghi il problema alla richiesta bloccata. L’assenza del tuo sito in una risposta non dimostra, da sola, che Cloudflare lo stia impedendo. Questa guida aiuta il titolare a raccogliere gli elementi utili e a concordare con il tecnico quali pagine pubbliche devono essere raggiungibili. Il percorso distingue ricerca, lettura di un collegamento e addestramento, quindi controlla impostazioni, regole e risultato dell’intervento.
Indice della guida
Distingui un sito non citato da una pagina non leggibile
Fai due prove separate. Prima chiedi informazioni su un servizio della tua attività e controlla se viene usata la ricerca web. Poi fornisci l’URL pubblico della pagina e chiedi quale modalità di contatto contiene. Conserva la risposta completa, compresi eventuali errori.
Una pagina letta quando fornisci il collegamento, ma assente nella ricerca generica, non prova un blocco Cloudflare. Anche un errore di lettura può avere cause diverse. Questa distinzione evita di cambiare impostazioni di sicurezza per risolvere un problema editoriale o di scoperta. Per il quadro generale consulta la guida alla presenza dell’attività nella ricerca ChatGPT.
Identifica quale accesso vuoi consentire
La documentazione ufficiale OpenAI distingue OAI-SearchBot, dedicato alla ricerca, da GPTBot, relativo all’addestramento. Le scelte sono indipendenti. ChatGPT-User riguarda determinate azioni richieste dagli utenti e non determina l’inclusione nella ricerca.
Anche Anthropic distingue tre bot: Claude-SearchBot per la ricerca, Claude-User per richieste degli utenti e ClaudeBot per contenuti potenzialmente utilizzabili nell’addestramento. Scrivi al tecnico l’obiettivo concreto, per esempio rendere consultabili le pagine dei servizi attraverso ricerca e collegamenti. Evita richieste generiche come ‘sblocca tutta l’AI’: potrebbero modificare scelte che riguardano usi diversi del contenuto.
Raccogli gli elementi per trovare la richiesta bloccata
Prepara un piccolo elenco: indirizzo completo della pagina, servizio utilizzato, testo della richiesta, momento e fuso orario della prova, messaggio ricevuto. Se compare un identificatore dell’errore, conserva anche quello. Non serve inviare credenziali o documenti riservati.
In AI Crawl Control il tecnico può filtrare i crawler e osservare richieste riuscite e non riuscite. La guida Cloudflare alla gestione dei crawler chiarisce che gli insuccessi possono dipendere anche da altre regole o errori. Chiedi quindi di correlare i dati con gli eventi di sicurezza e, quando disponibili, i registri del server. Una riga con un nome di bot non dimostra automaticamente che coincida con la tua prova.
Controlla perché Allow può non essere sufficiente
Cloudflare documenta che un crawler consentito in AI Crawl Control può essere fermato da una regola WAF precedente. WAF è il sistema che filtra le richieste secondo le regole di sicurezza del sito. Alcuni blocchi precedenti possono inoltre non apparire nelle statistiche di AI Crawl Control.
Il tecnico deve individuare la regola realmente intervenuta e valutarne condizioni e ordine. Un filtro geografico, per esempio, può colpire anche una richiesta automatica lecita. Usa la documentazione sull’interazione con WAF per questo controllo. Annotare il nome della regola e il motivo del blocco rende verificabile la diagnosi, mentre selezionare Allow ripetutamente non chiarisce il conflitto.
Confronta le regole di sicurezza con robots.txt
Il file robots.txt esprime indicazioni ai crawler; le protezioni del server possono impedire materialmente una richiesta. Le due verifiche devono essere coerenti. Fai controllare il file effettivamente pubblicato, anche per eventuali sottodomini che ospitano servizi o cataloghi, e le preferenze AI attive nel pannello.
Cloudflare permette di distinguere comportamenti Search, Agent e Training nelle impostazioni dei bot AI. Le etichette non sostituiscono il controllo del singolo accesso. Inoltre non attribuire a tutti i servizi lo stesso comportamento: Anthropic dichiara il rispetto di robots.txt, mentre OpenAI precisa che le regole possono non applicarsi a determinate azioni avviate dagli utenti tramite ChatGPT-User.
Concorda una modifica circoscritta con il tecnico
Prima dell’intervento chiedi una descrizione leggibile: quale regola cambia, su quali pagine, per quali richieste e come ripristinarla. Le aree clienti e i pannelli amministrativi non hanno lo stesso obiettivo delle pagine commerciali pubbliche.
- Conservare una copia della configurazione interessata.
- Verificare l’identità del crawler con i riferimenti ufficiali pertinenti.
- Limitare la modifica al blocco individuato.
- Annotare esito atteso e prova successiva.
Questo è un metodo operativo per organizzare il lavoro, non una configurazione universale da copiare. Se anche i clienti incontrano verifiche continue, affronta separatamente il problema descritto nella guida a Cloudflare e verifiche umane ripetute.
Esempio: il catalogo di un’officina non viene letto
Immagina un’officina che pubblica lavorazioni e modalità di richiesta preventivo. Il titolare apre la pagina, mentre Claude segnala un problema quando riceve il collegamento. Il tecnico trova una richiesta coerente con la prova, fermata da un filtro geografico; AI Crawl Control, invece, mostra il crawler consentito.
La correzione viene valutata su quel filtro e sulle pagine pubbliche interessate. Dopo l’intervento si controllano la richiesta successiva e il testo restituito. Se ora si leggono lavorazioni e contatti, l’ostacolo osservato risulta risolto. È un esempio di diagnosi, non un risultato garantito: l’officina non può dedurre da questa verifica che verrà consigliata nelle future ricerche dei clienti.
Verifica il contenuto restituito e conserva il controllo
Ripeti la prova sull’URL e controlla che il contenuto corrisponda alla pagina pubblica: una risposta senza errore non basta se contiene soltanto una schermata di verifica. Chiedi al tecnico di confermare che il blocco precedente non sia intervenuto e conserva il confronto prima e dopo.
Controlla anche un secondo servizio e una pagina che deve restare protetta. Se la lettura continua a fallire senza eventi riconducibili a Cloudflare, amplia la diagnosi a hosting, reindirizzamenti e contenuto della pagina. La guida alla ricerca web di Claude aiuta a separare accesso, scoperta e correttezza delle informazioni.
Domande frequenti
Se ChatGPT non cita il sito, Cloudflare lo sta bloccando?
Non necessariamente. Per sostenere questa diagnosi serve una richiesta riconducibile alla prova e un blocco documentato. La scelta delle fonti dipende anche dalla domanda e dai contenuti disponibili.
Devo consentire anche i bot per l’addestramento?
Ricerca, richieste degli utenti e addestramento hanno funzioni diverse. Per OpenAI e Anthropic fai valutare separatamente gli accessi pertinenti all’obiettivo, senza modificare indiscriminatamente tutte le preferenze.
Perché il crawler risulta consentito ma riceve ancora un errore?
Allow in AI Crawl Control non annulla necessariamente altre regole di sicurezza. Il tecnico deve individuare quale regola o quale componente produce l’errore e verificarne l’ordine di applicazione.
Sbloccare l’accesso garantisce di apparire nelle risposte AI?
No. Un accesso riuscito dimostra che la pagina è stata recuperata in quella verifica. Non garantisce la scelta del sito come fonte, una raccomandazione o nuove richieste commerciali.