La pagina si apre nel browser, ma Search Console la segnala come bloccata da robots.txt. Non è necessariamente una contraddizione: il sito può rispondere normalmente alle persone e chiedere a Google di non visitare quel percorso. Per decidere se intervenire devi collegare l’indirizzo segnalato alla regola effettiva e alla funzione della pagina.
Indice della guida
Per un’attività locale il problema può riguardare una singola pagina di servizio oppure un’intera sezione. Un blocco su un percorso tecnico può essere voluto; lo stesso blocco sulla pagina da cui arrivano richieste di preventivo merita un controllo prioritario.
Questa guida riguarda l’accesso alla scansione. Se Google può visitare la pagina ma sceglie di non indicizzarla, bisogna passare a controlli diversi: rimuovere regole da robots.txt senza una diagnosi non risolve ogni problema di visibilità.
Parti dagli URL che contano per i clienti
Raccogli alcuni indirizzi dal gruppo segnalato in Search Console e dividili per funzione. Non basta leggere il numero totale: cinquanta risultati interni di ricerca e cinque servizi principali hanno un impatto diverso sull’attività.
- Servizi e sedi: pagine che descrivono l’offerta o aiutano a raggiungere l’attività.
- Contenuti informativi: guide che rispondono a domande reali prima del contatto.
- Percorsi tecnici: pagine generate dal sistema, filtri o funzioni da valutare con il gestore.
Per ogni URL scrivi cosa dovrebbe succedere. Un centro corsi può volere accessibile la pagina del programma e gestire diversamente un calendario filtrato con decine di parametri. Chiedi inoltre se il blocco esisteva già o se è comparso dopo modifiche a struttura, piattaforma o hosting: è un indizio utile, non una prova della causa.
Apri il robots.txt che riguarda proprio quell’indirizzo
Il file va cercato nella radice della stessa origine dell’URL: per https://www.example.com/servizi/, il riferimento è https://www.example.com/robots.txt. Non sostituire automaticamente il dominio con la variante senza www o con un sottodominio diverso.
Le specifiche di Google per robots.txt chiariscono l’ambito delle regole per protocollo, host e porta. Chiedi al tecnico di verificare anche la risposta del file: deve essere il robots.txt effettivo, non una pagina di errore, una schermata di accesso o una versione diversa servita da un altro sistema.
Esempio: un negozio può avere il sito principale su www.example.com e il catalogo su catalogo.example.com. Leggere soltanto le regole del primo non spiega necessariamente il blocco del secondo. Copia sempre l’indirizzo completo segnalato.
Fai individuare il gruppo e la regola responsabili
Nel file troverai righe come User-agent, Disallow e, talvolta, Allow. La diagnosi deve rispondere a una domanda concreta: quale istruzione si applica al crawler e al percorso in esame?
Per esempio, un divieto su /servizi/ può coinvolgere diverse pagine collocate sotto quella sezione. Una regola con caratteri jolly richiede ulteriore attenzione. Maiuscole, percorsi e corrispondenze più specifiche possono cambiare il risultato: non affidarti soltanto alla prima riga che contiene una parola simile all’URL.
Chiedi al referente una spiegazione verificabile: “Il gruppo applicabile è questo; la regola che blocca la pagina è questa; questi sono gli altri percorsi coinvolti”. Un elenco di tre o quattro esempi, inclusi quelli da mantenere bloccati, rende controllabile la modifica prima di applicarla al sito.
Distingui scansione, indicizzazione e accessi privati
La documentazione introduttiva di Google spiega che robots.txt regola le visite dei crawler. Non rende segreto un indirizzo e non impedisce alle persone di aprirlo. Per documenti riservati serve un’autenticazione o un altro controllo effettivo degli accessi.
Un URL bloccato può essere scoperto attraverso collegamenti e comparire nei risultati senza che Google ne abbia letto il contenuto. Per escludere dall’indice una pagina pubblica esiste invece noindex; Google deve poterla recuperare per leggere l’istruzione, come chiarisce la guida dedicata.
Per questo non aggiungere noindex dentro robots.txt e non combinare blocchi a tentativi. Descrivi prima l’obiettivo: rendere leggibile un servizio, tenere fuori dalle ricerche una conferma pubblica oppure proteggere un documento cliente. Sono esigenze differenti.
Correggi il blocco senza aprire indiscriminatamente il sito
Conserva una copia del file o della configurazione che lo genera. Poi chiedi una modifica limitata ai percorsi che devono essere accessibili, con alcuni URL da provare prima e dopo. Evita di cancellare tutte le righe solo per ridurre gli avvisi nel report.
Esempio: una scuola ha pubblicato i corsi sotto una cartella che prima conteneva prove interne. Può essere necessario rivedere quella regola, ma prima va verificato se nello stesso percorso siano rimasti contenuti che non devono essere pubblici. Il titolare chiarisce quali pagine servono ai clienti; il tecnico valuta struttura e impostazioni.
La procedura Google per aggiornare robots.txt ricorda di pubblicare il file corretto e verificarne l’acquisizione. Se il file è prodotto dal gestionale del sito, intervieni sulla sorgente appropriata: una modifica manuale potrebbe essere sovrascritta.
Controlla la pagina e un campione di percorsi vicini
Dopo la pubblicazione, riapri robots.txt e accertati che mostri la versione prevista. Fai verificare anche eventuali copie conservate dai sistemi di distribuzione del sito. Il controllo deve riguardare ciò che viene effettivamente servito dall’esterno.
- Prova l’URL pubblico che risultava bloccato.
- Prova un altro URL che utilizza lo stesso modello o la stessa cartella.
- Controlla un percorso che doveva rimanere escluso dalla scansione.
- Verifica che la pagina mostri testo, immagini e funzioni necessarie per capirne il contenuto.
Non fermarti al fatto che la pagina si apra nel tuo browser. Usa il test dell’URL pubblicato in Search Console per controllare l’accesso attuale e chiedi al tecnico di esaminare eventuali risorse necessarie bloccate. Una pagina del servizio deve risultare comprensibile anche quando viene recuperata dal sistema di Google.
Interpreta il risultato senza confonderlo con il posizionamento
Confronta il test attuale con i dati dell’ultima scansione: il report potrebbe descrivere ancora la situazione precedente. Conserva l’esito della prova insieme alla regola modificata. Se il blocco resta nel controllo attuale, torna all’URL esatto, al file servito e al gruppo applicabile.
La documentazione di Controllo URL chiarisce i limiti del test: l’accessibilità rende possibile l’elaborazione, ma non dimostra che la pagina sarà indicizzata. Dopo lo sblocco può emergere un problema diverso, da analizzare per il suo significato.
Se invece il file sitemap non viene recuperato, consulta la guida agli errori della sitemap. Mantieni distinti il controllo delle regole, quello dell’elenco di URL inviato e quello della qualità delle pagine: così ogni intervento ha un risultato riconoscibile.
Domande frequenti
La pagina si apre normalmente: perché risulta bloccata?
Il browser del visitatore e il crawler seguono percorsi di accesso diversi. Una regola robots.txt può chiedere a Google di non visitare un URL che rimane disponibile alle persone.
Posso cancellare tutto il file robots.txt per risolvere?
Prima identifica la regola e gli URL coinvolti. Una rimozione generale può cambiare la scansione di altre aree senza risolvere la causa corretta. Concorda una modifica circoscritta e verificabile.
Robots.txt protegge fatture e documenti dei clienti?
No. Non è un sistema di autenticazione. I documenti riservati devono essere protetti con controlli degli accessi adeguati, anche se il loro percorso è elencato in robots.txt.
Dopo lo sblocco il sito compare subito su Google?
Lo sblocco consente la scansione del percorso interessato. Google deve elaborare la modifica e valutare la pagina; né l’indicizzazione né una determinata posizione sono garantite.
Fonti ufficiali e approfondimenti
Per verificare requisiti e procedure, consulta la documentazione ufficiale relativa al tuo caso.
Il sito è lento, presenta errori o non viene trovato su Google? Con SitiProfessionali.net ti aiutiamo a migliorarlo, risolvere i problemi tecnici o realizzare un nuovo sito per la tua attività.
Scopri i servizi per il tuo sito SitiProfessionali.net