Indicizzazione: che cosa entra nell'indice e che cosa no

Modulo 1: Come funzionano i motori di ricerca · Tempo di lettura: 11 minuti

Obiettivo della lezione: Dopo questa lezione saprà valutare se una pagina può entrare nell'indice e, in caso contrario, quale dei quattro "blocchi" la ferma: il codice di stato, robots.txt, noindex o il canonical.

Concetti chiave: indicizzazione, requisiti tecnici di Google, noindex (meta robots e X-Robots-Tag), robots.txt non è un noindex, canonicalizzazione, contenuti duplicati, soft 404, "sottoposta a scansione, ma attualmente non indicizzata", "rilevata, ma attualmente non indicizzata", nessuna garanzia

Che cosa succede durante l'indicizzazione

Dopo che il crawler ha scaricato una pagina (lezione 1.2), il motore di ricerca la legge. Google analizza il testo, il titolo, le intestazioni, le immagini e i video, e stabilisce in quale lingua è scritta la pagina. Google verifica anche se la pagina è una copia di un'altra pagina e quale di queste copie è quella "vera". Solo dopo decide se la pagina entra nell'indice.

Al riguardo Google dice due cose che conviene ricordare bene:

• L'inclusione non è garantita. Anche se la Sua pagina soddisfa tutti i requisiti, Google può decidere di non includerla.
• È normale che non tutto sia incluso. Nella guida al rapporto sull'indicizzazione Google scrive testualmente che non bisogna aspettarsi che ogni indirizzo del sito sia indicizzato, e che questo può andare benissimo. Ciò che conta sono le Sue pagine importanti.

I tre requisiti tecnici

Google indica tre requisiti tecnici per poter entrare nell'indice:

1. Googlebot non è bloccato. La pagina è raggiungibile e robots.txt non ne vieta il recupero.
2. La pagina funziona. Il server restituisce il codice di stato 200, non un errore.
3. La pagina ha contenuti indicizzabili. Testo in un tipo di file che Google sa leggere, e nessuna violazione delle norme sullo spam.

A questi si aggiungono, nella pratica, due scelte del proprietario del sito: un noindex ("non includere questa pagina") e un canonical che punta a un altro indirizzo ("non questa, ma quella"). In tutto fanno quattro blocchi che una pagina deve superare.

Blocco 1: il codice di stato

Solo una pagina con stato 200 può entrare nell'indice. Un 301 o un 308 rimanda il motore di ricerca al nuovo indirizzo; viene quindi valutato quel nuovo indirizzo. Un 404 o un 410 rimuove dall'indice un indirizzo incluso in precedenza.

La variante insidiosa è il soft 404 della lezione 1.2: stato 200, ma il contenuto è un messaggio di errore o una pagina quasi vuota. Google spesso lo riconosce e non include una pagina del genere. Anche una pagina di categoria vuota in un negozio online ("nessun prodotto trovato") può essere considerata un soft 404.

Blocco 2: robots.txt

Con robots.txt vieta a un crawler di recuperare una pagina. È una cosa diversa dal vietare di includerla. Google è chiaro su questo: robots.txt non è un modo per tenere una pagina fuori da Google. Se altri siti rimandano a una pagina bloccata, l'indirizzo può comunque comparire nei risultati, solo senza descrizione. In Search Console questo stato si chiama "Indicizzata, ma bloccata da robots.txt".

Robots.txt serve a gestire il traffico dei crawler: per esempio a evitare che un crawler percorra migliaia di pagine dei risultati di ricerca interni del Suo sito. La lezione 3.3 approfondisce l'argomento.

Blocco 3: noindex

Se vuole davvero che una pagina non compaia nei risultati di ricerca, usi noindex. Si può fare in due modi, con lo stesso effetto:

<!-- nel <head> della pagina -->
<meta name="robots" content="noindex">

X-Robots-Tag: noindex

Il secondo è un'intestazione HTTP che il server invia insieme alla pagina. Funziona anche per file che non sono HTML, come un pdf. Il valore none significa lo stesso di noindex, nofollow. Con <meta name="googlebot" content="noindex"> la regola vale solo per Google; altri motori di ricerca possono interpretare in modo diverso una regola generica.

Ecco l'insidia che si incontra molto spesso: noindex e un blocco in robots.txt insieme non funzionano. Se robots.txt blocca la pagina, Google non la recupera e quindi non vede mai il noindex. La pagina può allora entrare comunque nell'indice tramite i link di altri siti. Se vuole togliere una pagina da Google: la lasci recuperare e le applichi un noindex.

Dove si trova un noindex senza volerlo?

• In WordPress, in Impostazioni, Leggi, c'è la casella "Scoraggia i motori di ricerca dall'effettuare l'indicizzazione di questo sito". Questa applica un noindex all'intero sito. Utile durante la costruzione, disastroso se si dimentica di disattivarla.
• Nell'AI Builder può impostare un sito o una pagina su "non indicizzare"; in quel caso nella pagina viene inserito un noindex, nofollow. Anche un sito demo gratuito non viene mai indicizzato.
• Un plugin SEO o un tema con un'impostazione sbagliata per singola pagina o per tipo di pagina.

Altri strumenti per creare siti web hanno interruttori simili, spesso con un nome come "nascondi ai motori di ricerca".

Blocco 4: il canonical

Molti siti hanno la stessa pagina sotto più indirizzi: con e senza www, con http e https, con un parametro in coda come ?utm_source=nieuwsbrief. Da questi gruppi Google sceglie un solo indirizzo come versione canonica e mostra nei risultati solo quello. Gli altri sono duplicati.

Può aiutare Google a scegliere con un reindirizzamento (un segnale forte) oppure con un riferimento canonical nella pagina:

<link rel="canonical" href="https://www.example.com/bruidsboeketten">

Un canonical è un segnale, non un ordine: Google può scegliere un altro indirizzo. Se il Suo canonical punta a un altro indirizzo, la pagina stessa dice: "non includere me, ma quell'altra". Va bene se è corretto, ed è un problema se è un errore, per esempio se ogni pagina punta alla homepage. La lezione 3.5 approfondisce questo tema.

Secondo Google, i contenuti duplicati all'interno del proprio sito non violano le norme sullo spam e non portano a un'azione manuale. Sono però inefficienti: i crawler recuperano più volte la stessa cosa e non è Lei a decidere quale indirizzo compare nei risultati.

I messaggi in Search Console

Nel rapporto Pagine di Search Console (lezione 2.4) vede un motivo per ogni pagina non indicizzata. Tutti e quattro i blocchi vi compaiono:

Gli ultimi due non sono errori tecnici. "Pagina sottoposta a scansione, ma attualmente non indicizzata" è molto frequente; Google dice che non è sempre un problema. Se si tratta di una pagina importante, verifichi se aggiunge davvero qualcosa: una pagina unica e utile ha più possibilità di una pagina scarna che somiglia ad altre dieci.

Riepilogo

• Dopo la scansione il motore di ricerca decide se una pagina entra nell'indice; non è mai garantito e non tutto deve esserci.
• Quattro blocchi: stato 200, nessun blocco in robots.txt, nessun noindex, canonical assente o che punta a sé stesso.
• robots.txt vieta il recupero, non l'inclusione. Usi noindex per tenere qualcosa fuori dai risultati e in quel caso non blocchi la pagina in robots.txt.
• Un canonical è un segnale forte, non un ordine. I contenuti duplicati non sono spam, ma sono inefficienti.
• "Pagina sottoposta a scansione, ma attualmente non indicizzata" non è un errore tecnico; valuti il valore della pagina.

Quiz

Esercizio

Esercizio A1.3: Questa pagina può entrare nell'indice? Inserisca l'indirizzo di una pagina (una pagina del Suo sito, oppure una pagina che nasconde di proposito, come una pagina di ringraziamento). Scelga poi la Sua previsione: "può entrare nell'indice" o "non può entrare nell'indice" e, se sceglie "non può", quale blocco la ferma (codice di stato, robots.txt, noindex, canonical verso un altro indirizzo). Il programma controlla i quattro blocchi come in questa lezione e mette il proprio risultato accanto al Suo.

Per approfondire

• Google, Requisiti tecnici della Ricerca Google: https://developers.google.com/search/docs/essentials/technical
• Google, Bloccare l'indicizzazione con noindex: https://developers.google.com/search/docs/crawling-indexing/block-indexing
• Google, Introduzione a robots.txt: https://developers.google.com/search/docs/crawling-indexing/robots/intro
• Google, Consolidare gli URL duplicati (canonicalizzazione): https://developers.google.com/search/docs/crawling-indexing/consolidate-duplicate-urls
• Guida di Google Search Console, Rapporto sull'indicizzazione delle pagine: https://support.google.com/webmasters/answer/7440203