Configurazione della scansione da parte di Googlebot

L'automazione consente a Googlebot di eseguire la scansione dei siti senza l'intervento diretto dei webmaster. Nella prima versione del 2008, però, il crawler del motore di ricerca poteva essere configurato tramite Google Webmaster Tools. Con l'evoluzione degli strumenti, dell'interfaccia e dei processi automatici, anche la console è cambiata. Oggi Google Search Console offre ancora ai proprietari dei siti la possibilità di intervenire sulla frequenza con cui Googlebot visita le pagine.

La frequenza ottimale di scansione viene impostata automaticamente. Quando le richieste diventano troppo ravvicinate, però, il server può andare sotto stress: l'accesso degli utenti rallenta, il traffico e il CTR possono risentirne e anche il posizionamento nei risultati di ricerca può peggiorare.

Uno specialista SEO può ridurre manualmente l'attività del bot quando le visite alle pagine diventano eccessive e rischiano di incidere sulla visibilità organica. Nella versione attuale, dopo l'inserimento di una nuova frequenza di scansione, bisogna attendere l'approvazione. Il valore può solo essere abbassato, non aumentato.

Google indica un tempo massimo di 24 ore per approvare le richieste di limitazione di Googlebot. Durante l'attesa, per alleggerire il server si può usare il codice di risposta 503: così si sospendono temporaneamente le richieste eccessive e si evitano errori nei risultati del motore di ricerca.