Bingbot visita troppo spesso il sito: come ridurre il carico senza bloccare Bing

Misura il problema insieme al fornitore dell’hosting

Chiedi un campione dei registri riferito agli orari del rallentamento. “Molti bot” non spiega se il sito sta esaurendo risorse, se una pagina risponde lentamente o se il problema coincide con un’importazione del catalogo. Confronta richieste, tempi di risposta ed errori del server nella stessa finestra temporale.

• Orario e fuso usato nei registri.
• URL richiesti, codici di risposta e frequenza.
• IP di origine e user agent dichiarato.
• Carico del server e operazioni in corso.
• Effetti osservati su pagine, moduli e acquisti.

Conserva il campione utile in un canale riservato al tecnico. Non pubblicare registri completi con indirizzi, parametri o informazioni dei clienti. L’obiettivo iniziale è trovare una relazione verificabile tra richieste e rallentamento.

Verifica che le richieste arrivino davvero da Bingbot

Lo user agent è il nome dichiarato dal programma che invia la richiesta e può essere falsificato. Microsoft mette a disposizione Verify Bingbot per controllare un IP osservato nei registri. Il risultato aiuta a distinguere un crawler autentico da traffico che usa soltanto un nome riconoscibile.

Fai eseguire la verifica sugli IP del campione, considerando eventuali proxy davanti al sito. Se il traffico non è autentico, Crawl Control non governa quei programmi: serve una diagnosi delle protezioni con il fornitore. Evita sia di autorizzare tutte le richieste chiamate Bingbot sia di bloccarle tutte prima di averne accertato la provenienza.

Individua quali percorsi consumano più risorse

Raggruppa le richieste per tipo di pagina: servizi, prodotti, filtri, ricerche interne o risorse del sito. Una lunga serie di URL simili può richiedere un intervento diverso da poche pagine costose da generare. Chiedi quali indirizzi sono utili ai visitatori e quali derivano da combinazioni inutili o collegamenti ripetuti.

Esempio di controllo: se ogni filtro del catalogo produce numerose combinazioni, il tecnico deve esaminare navigazione, collegamenti e gestione degli URL prima di modificare la velocità del crawler. Non aggiungere esclusioni indiscriminate alle pagine dei servizi. Per un audit separato, Site Scan esegue controlli su richiesta: non è il comando che regola tutte le visite automatiche di Bingbot.

Regola Crawl Control in base agli orari reali

Nella proprietà verificata di Bing Webmaster Tools, Crawl Control consente di indicare una scansione relativamente più lenta o più veloce nelle diverse ore della giornata. Puoi usare un modello preimpostato o personalizzare l’andamento, controllando il fuso orario e salvando la modifica. La regolazione è relativa alla frequenza determinata dal servizio, non una promessa di un numero esatto di richieste.

Con il tecnico scegli una modifica limitata e annota l’impostazione precedente. Se il sito riceve molti visitatori durante l’apertura, valuta una riduzione in quelle ore lasciando spazio alle altre fasce, compatibilmente con backup e importazioni. Un sito già in difficoltà di notte non beneficia automaticamente di una scansione spostata tutta in quella fascia.

Controlla le regole esistenti e i possibili effetti

Microsoft specifica che una direttiva crawl-delay presente in robots.txt prevale sulle indicazioni di Crawl Control. Prima di cambiare il grafico, chiedi quindi di verificare il file effettivamente servito dal dominio. Una regola vecchia può spiegare perché il comportamento atteso non corrisponde alla nuova impostazione.

Non copiare valori casuali da un forum e non confondere il rallentamento con il blocco completo. Limitare molto le visite può ritardare la scoperta di nuove pagine o l’acquisizione delle modifiche. Nessuna impostazione garantisce un impatto nullo sulla visibilità. Se Bing non legge più le pagine, usa la diagnosi del sito assente dall’indice di Bing prima di aggiungere altre restrizioni.

Esempio ipotetico: un catalogo rallenta durante le importazioni

Un negozio aggiorna il catalogo ogni sera. L’hosting attribuisce il rallentamento a Bingbot, ma il campione conferma due condizioni contemporanee: richieste autentiche e un’importazione che rende costose alcune pagine. Bloccare il crawler nasconderebbe soltanto una parte del problema.

1. Il tecnico verifica gli IP e separa le richieste autentiche da quelle non riconosciute.
2. Confronta gli URL lenti con le operazioni dell’importazione.
3. Interviene sul processo del catalogo e concorda una regolazione temporanea delle visite.
4. Ripete il confronto nella stessa fascia oraria e prova le pagine pubbliche.

Il negozio conserva le impostazioni precedenti e verifica che le schede importanti restino accessibili. La scelta successiva dipende dai risultati: non considera risolto il problema soltanto perché il contatore delle richieste è diminuito.

Verifica l’esito e prepara una segnalazione circoscritta

Dopo l’intervento confronta carico, errori, risposta delle pagine e funzionamento dei percorsi dei clienti. Affianca questi controlli a quelli disponibili in Bing Webmaster Tools, distinguendo un test attuale dalla presenza nell’indice. Per la configurazione iniziale consulta la guida agli strumenti Bing.

Se il traffico autentico continua a creare problemi, Microsoft indica il percorso di assistenza per le segnalazioni di scansione eccessiva. Prepara dominio, orari, campione delle richieste verificate e modifiche già tentate. Non inviare soltanto una schermata del consumo totale: chi esamina il caso deve distinguere il crawler, gli URL e l’effetto osservato. Ricontrolla anche gli errori del server se compaiono su più servizi.