Crawl budget: cos’è e come ottimizzarlo

Indice

Nel gennaio 2017, Google ha pubblicato un post sul blog ufficiale dei webmaster che chiarisce cos’è  il ” Crawl Budget ” e cosa fa. Cercheremo di analizzare e capire come questo potrebbe avere un impatto sulla tua attività. In sostanza, affinché un sito web possa essere classificato in Google, il sito deve prima essere sottoposto a scansione in modo che Google possa capire di cosa trattano queste pagine. Se il sito Web non può essere sottoposto a scansione, è impossibile entrare nel ranking. Il budget di scansione di Google è il modo in cui Google determina quali pagine del tuo sito devono essere sottoposte a scansione, quali pagine non devono essere sottoposte a scansione e con quale frequenza dovrebbe tornare a eseguire nuovamente la scansione. Tuttavia, per la maggior parte delle piccole imprese, probabilmente questo non sarà un problema.

Da Google:
"Innanzitutto, vorremmo sottolineare che il budget per la ricerca per
indicizzazione non è qualcosa di cui la maggior parte degli editori deve 
preoccuparsi. Se le nuove pagine tendono a essere scansionate lo stesso giorno in 
cui vengono pubblicate, il budget di scansione non è qualcosa su cui i webmaster 
devono concentrarsi. Allo stesso modo, se un sito ha meno di qualche migliaio di 
URL, la maggior parte delle volte verrà sottoposto a scansione in modo efficiente"

Nota come Google dice “editori” e non i proprietari di siti web? In altre parole, se il tuo sito web è piccolo e abbastanza statico, con pochi o nessun nuovo contenuto aggiunto ad esso, probabilmente non devi preoccuparti del budget di ricerca. Anche se, come tutti sappiamo, se vuoi competere nella ricerca organica vorrai diventare un editore, mantenendo il tuo sito aggiornato con contenuti accattivanti e leadership di pensiero per attirare potenziali clienti alla ricerca dei tuoi servizi.

Per i proprietari di piccole imprese con budget di marketing limitati, la creazione di contenuti su base regolare in genere non è possibile. Ma per le aziende di medie e grandi dimensioni, in grado di sfruttare la larghezza di banda necessaria per competere nel marketing di ricerca organica disponendo di siti Web di grandi dimensioni con contenuti di valore, il budget per la ricerca per indicizzazione è qualcosa che dovrebbe essere nel tuo radar.

In che modo i siti web vengono scansionati e classificati da Google ?

Google distribuisce il suo crawler del sito Web chiamato Googlebot in tutto il Web alla ricerca di pagine, immagini e qualsiasi altra cosa possa trovare. Il modo in cui Google esegue la scansione di un sito Web è essenzialmente simile a questo:

1. Googlebot avvia la scansione di un sito Web e segue i collegamenti che trova su di esso ad altri siti Web e quindi esegue la scansione di tali siti Web, ripetendo il processo più e più volte. Questo è il motivo per cui i link sono così importanti per il posizionamento in Google. Più link puntano al tuo sito web, più Google pensa che tu debba essere importante. Google scopre anche nuove pagine da sottoporre a scansione attraverso l’uso delle sitemap che un proprietario del sito web invia a Google.

2. Google inserisce tutte le pagine (URL) che trova per quel sito Web e le ordina in ordine di importanza. L’ordine di importanza è determinato principalmente dalla popolarità. Gli URL più popolari su Internet (collegati al più) tendono a essere sottoposti a scansione più spesso per mantenerli più freschi nell’indice.

3. Google imposta il “budget di scansione” determinato dalle limitazioni tecniche e dalla popolarità delle pagine. Se il tuo sito web risponde molto velocemente, il limite di scansione aumenta, il che significa che è possibile utilizzare più connessioni per eseguire la scansione. Se il tuo sito web rallenta o risponde con errori del server, il limite diminuisce e Googlebot scansiona di meno.

4. Infine, Google pianifica Googlebot per eseguire nuovamente la scansione del sito Web, in base al budget di ricerca per indicizzazione.

Posso vedere quando Google scansione il mio sito web ? 

Si, puoi. Il modo più semplice per farlo è utilizzare lo strumento di Search Console di Google . Noi di Tech Hardware, utilizziamo lo strumento Search Console e i log del server, per capire quando Googlebot viene a visitare uno dei nostri siti Web, quante pagine esegue la scansione e se incontra eventuali errori del server. In sostanza, Search Console ti aiuta a monitorare e a mantenere la presenza del tuo sito nei risultati di ricerca di Google.

Una volta effettuato l’accesso, puoi vedere con quale frequenza Google ha eseguito la scansione del tuo sito, nonché il tempo necessario per eseguire la scansione e altre statistiche di indicizzazione.

Crawl budget: cos’è e come ottimizzarlo

Per mantenere Google felice e far tornare Googlebot per eseguire la scansione del tuo sito Web, è importante tenere d’occhio le risposte temporali del server. Come accennato, se il server del tuo sito web risponde rapidamente alle richieste di Googlebot e non restituisce errori, regolerà il limite di velocità di scansione per aprire più connessioni con meno tempo tra le richieste di Googlebot.

Perché è importante l’indicizzazione da parte di Googlebot

Ricorda che per competere nel marketing organico di ricerca, hai bisogno di molti contenuti interessanti e di valore in primo luogo. Ma per fare in modo che il contenuto venga classificato, deve prima essere sottoposto a scansione da Googlebot. Gli URL non possono essere classificati a meno che non siano indicizzati da Googlebot e non possano essere indicizzati a meno che il tuo sito Web non venga sottoposto a scansione .

Ecco gli elementi di azione del punto elenco per il budget di ricerca per indicizzazione.

  1. Assicurati che le pagine del tuo sito Web siano individuabili (eseguibili) tramite collegamenti da siti Web di terzi, link interni o mappe del sito.
  2. Assicurati che le tue pagine più importanti ottengano il maggior numero di link; esterno o interno.
  3. Assicurati che le pagine meno importanti non vengano sottoposte a scansione. Puoi bloccare le pagine con robots.txt se lo vuoi davvero.
  4. Assicurati che il tuo server sia veloce, affidabile e reattivo.

 

Analizziamo nel dettaglio i fattori.

Pagine web e risorse rilevabili e scansionabili 

Il modo migliore per Google di scoprire una pagina sul tuo sito web è attraverso i link di terze parti. Il link da un segnale a Google che questa pagina ha importanza. Esistono molti modi per acquisire link per la tua azienda e il tuo sito web, ma il modo migliore è creare contenuti degni di essere collegati, condivisi e letti.

Oltre ai siti Web di terze parti, puoi indirizzare il tuo sito Web attraverso la Sitemap che deve essere inviata a Google attraverso Search Console.

Le tue pagine più importanti 

Google sta cercando di garantire che le pagine più importanti rimangano le “più fresche” dell’indice. Quali sono le tue pagine più importanti? Da un punto di vista tecnico, le pagine del tuo sito Web che hanno il maggior numero di collegamenti a ritroso di terze parti saranno considerate più importanti. Inoltre, le pagine sul tuo sito web che hanno i link più interni saranno considerate importanti.

Assicurati di ottenere collegamenti di terze parti alle tue pagine più importanti e assicurati che tali pagine vengano collegate anche all’interno del sito.

Quali sono le mie pagine meno importanti ?

Considerando ciò che abbiamo appreso sul budget di ricerca per l’indicizzazione, non vogliamo sprecare il tempo prezioso di Googlebot per eseguire la scansione del sito. Pertanto, vogliamo assicurarci che Google non esegua la scansione delle pagine di amministrazione, pagine con poco o nessun contenuto su di esse.

Google consiglia: 
"Rimuovere pagine di bassa qualità, unire o migliorare il contenuto delle singole
 pagine in pagine più utili".

Un buon esercizio da fare frequentemente è la verifica del contenuto del tuo sito web. Osservando le pagine di scansione di Google e anche le pagine su cui i tuoi visitatori trascorrono il loro tempo, puoi iniziare a vedere quali sono le pagine più importanti e quali potrebbero essere le meno importanti. Se hai una pagina che a nessuno sembra interessare perché non ha contenuti di grande valore, ma Google sembra eseguire la scansione della pagina spesso, potresti voler modificare la pagina in qualcosa di più utile oppure rimuovere / bloccare la pagina da Googlebot .

Il mio server è veloce e affidabile ? 

In Tech Hardware, parliamo molto di quanto la velocità del tuo sito web sia importante come servizio clienti e anche come segnale di posizionamento per la SEO . Ma per quanto riguarda il budget di scansione, la velocità della pagina è completamente diversa dal tempo di risposta del server.

Leggi anche
Scelta dell' Hosting per Wordpress

“Velocità pagina” si riferisce ai tempi di caricamento della pagina e quanto tempo impiega una pagina per il rendering per un visitatore. La velocità del server è il tempo impiegato dal server per rispondere alla richiesta della pagina da cose come Googlebot.

Google consiglia di ridurre i tempi di risposta del server a meno di 200 ms. Google afferma che un tempo di risposta del server di oltre due secondi può provocare “una rigorosa limitazione del numero di URL sottoposti a scansione da Google” da un sito.

Oltre alle risposte del server, vogliamo tenere d’occhio anche gli errori del server. Anche questo può essere fatto nella Search Console di Google.

Da Google: 
"Gli errori di scansione del sito web possono impedire la visualizzazione della
 pagina nei risultati di ricerca".

"Se il tuo sito mostra una percentuale di errore del 100% in una qualsiasi 
delle tre categorie, probabilmente significa che il tuo sito è inattivo o non
 correttamente configurato in qualche modo. Ciò potrebbe essere dovuto a una 
serie di possibilità che è possibile esaminare:

Verifica che la riorganizzazione del sito non abbia modificato le autorizzazioni
 per una sezione del tuo sito. 
Se il tuo sito è stato riorganizzato, controlla che i collegamenti esterni 
funzionino ancora. 
Esaminare eventuali nuovi script per assicurarsi che non si verifichino 
malfunzionamenti ripetuti. 
Assicurati che tutte le directory siano presenti e non siano state 
spostate o cancellate accidentalmente. "
Leggi anche
Come rendere il caricamento del blog più veloce

LASCIA UN COMMENTO

Per favore inserisci il tuo commento!
Per favore inserisci il tuo nome qui