Google Search Console ha aggiornato il pannello sulle statistiche di scansione, che forniscono informazioni precise sul crawl budget.
Per raggiungere i pannelli bisogna cliccare su Impostazioni > Statistiche di scansione presente su Search Console.
Il crawl budget rappresenta il numero di pagine del sito che Google scansiona in una giornata.
Il numero non è sempre identico ma oscilla, ed inoltre varia da un sito all'altro a seconda dell'autorità del sito, del numero di errori presenti, il numero di link e pagine.
In genere la scansione principale avviene tramite il crawler Googlebot per smartphone che controlla i permessi di accesso segnalati sul file robots.txt.
Ma ci sono diversi eventi che possono far generare a Google un'altra scansione. Potrebbe aver trovato nuovi link che puntano alla pagina, o dadi social qualcuno punta un contenuto, o viene generata una nuova voce sulla sitemap, ect.
Per raggiungere direttamente le statistiche di scansione del proprio sito, basta cercare la proprietà da analizzare da Search Console, anche tramite il link https://search.google.com/u/1/search-console/settings/crawl-stats
A differenza di quanto di crede non è così comune avere problemi di crawl budget, che riguardano maggiormente siti di grandi dimensioni, con decine di migliaia di pagine.
Un'altra possibilità è che il numero totali di crawl differenti che Google effettua sul tuo sito sia notevole.
Per comprendere se il sito può avere problemi di crawl basta seguire questa semplice guida
Tempo richiesto: 5 minuti.
Come si effettua una stima sul crawl budget
Controlla il numero di URL presenti nella tua sitemap aggiornata, caricata su Search Console nell'apposito pannello.
Apri il rapporto di Statistiche di Scansione che si trovi su Search Console > Impostazioni > Statistiche di scansione. Potresti effettuare un calcolo sul crawl budget direttamente dall'indicazione che si trova all'esterno, ma è meglio conoscere più dettagli.
Dividi il numero di scansioni totali per il numero di giorni (di norma vengono visualizzati gli ultimi 90 giorni). Successivamente, dividi il numero di pagine per il numero di scansioni medie del tuo sito (il calcolo effettuato precedentemente). Se il parametro è superiore a 7, allora potrebbe esserci un problema. Valori inferiori sono da considerarsi come "normali".
Il calcolo riportato sopra potrebbe risultare inefficace nelle prime settimane di vita di un sito, o in caso di forti modifiche tecniche del sito.
Sebbene non sia possibile interagire direttamente con le scansioni effettuate dai bot (che potrebbero anche essere inutili), è possibile migliorare le statistiche di scansione osservando i dati offerti dai pannelli: