Mantenere una pagina fuori da Google: robots.txt o noindex?
Non desidera che una pagina compaia su Google, per esempio una pagina di ringraziamento, una pagina di prova o una vecchia promozione? In molti pensano al file robots.txt. Ma robots.txt non tiene una pagina fuori da Google. Per questo serve noindex. In questo articolo scopre la differenza, come utilizzare entrambi e cosa fare con una pagina che ha eliminato. Utilizziamo example.com come esempio.
La differenza in breve
| robots.txt | noindex | |
|---|---|---|
| Cosa dice | "Non recuperare questa pagina." | "Non includere questa pagina nei risultati di ricerca." |
| Tiene una pagina fuori da Google? | No. Se altri siti collegano alla pagina, l'indirizzo può comunque apparire, senza descrizione. | Sì, non appena Google visita nuovamente la pagina. |
| Dove si trova? | Un unico file su https://example.com/robots.txt | Nella pagina stessa, oppure come intestazione inviata dal server |
| A cosa serve? | Indirizzare il traffico di scansione, per esempio escludere le pagine dei risultati di ricerca interne al Suo sito | Pagine che restano raggiungibili, ma che non devono comparire su Google |
Nessuno dei due metodi costituisce una protezione. Chiunque può leggere il Suo robots.txt, e una pagina con noindex resta comunque raggiungibile. Se qualcosa deve essere davvero protetto, utilizzi una password. Veda Proteggere una cartella con una password in DirectAdmin.
Utilizzare noindex
Inserisca questa riga nell'<head> della pagina:
<meta name="robots" content="noindex">
Per i file senza HTML, come un pdf, il server può inviare la stessa istruzione come intestazione: X-Robots-Tag: noindex. L'effetto è identico.
Nella maggior parte dei casi non deve digitarlo Lei stesso:
- AI Bouwer: apra la sezione SEO, selezioni la pagina e disattivi, sotto Altro per questa pagina, l'interruttore Rendi questa pagina individuabile su Google. La pagina resta raggiungibile, ma riceve un noindex. Pubblichi quindi nuovamente.
- WordPress: un plugin SEO dispone, per ogni pagina, di un'impostazione per non far indicizzare la pagina. La casella Scoraggia i motori di ricerca dall'indicizzare questo sito in Impostazioni, Lettura vale per l'intero sito.
- Altri costruttori di siti web: cerchi un'impostazione del tipo "nascondi ai motori di ricerca".
Creare o modificare robots.txt
Su un pacchetto hosting, robots.txt si trova nella cartella web del Suo dominio, in DirectAdmin la cartella public_html. Crea o modifica il file tramite Gestione File o FTP, veda Aprire la Gestione File: le cartelle nel Suo pacchetto. Un esempio:
User-agent: * Disallow: /zoeken Disallow: /winkelmand/ Sitemap: https://example.com/sitemap.xml
User-agent: *vale per tutti i robot di ricerca.Disallow:seguito da un percorso vieta tutto ciò che inizia con quel percorso.Disallow: /vieta l'intero sito.- Se crea anche un gruppo
User-agent: Googlebot, Google seguirà solo quel gruppo e ignorerà il gruppo*. Ripeta quindi lì tutte le regole che valgono anche per Google. - Non blocchi cartelle con fogli di stile, script o immagini necessarie alla Sua pagina.
- L'assenza di robots.txt non costituisce un problema: in tal caso tutto è consentito. Se l'indirizzo restituisce un errore del server, Google interrompe temporaneamente il recupero.
WordPress crea autonomamente un robots.txt finché non è presente alcun file nella cartella web. L'AI Bouwer, al momento della pubblicazione, inserisce autonomamente un robots.txt con una riga Sitemap:.
Google conserva il Suo robots.txt solitamente fino a 24 ore. In Search Console trova, sotto Impostazioni, il rapporto robots.txt: quale versione Google ha recuperato per ultima, con errori e avvisi, e un pulsante per farla recuperare nuovamente.
Una pagina eliminata: 404 o 410, non un soft 404
Se ha eliminato una pagina, l'indirizzo dovrebbe restituire il codice di stato 404 (non trovato) o 410 (rimosso). Alla visita successiva, Google rimuove quindi l'indirizzo dai risultati di ricerca. Se la pagina ha un successore, reindirizzi il vecchio indirizzo con un 301 verso la nuova pagina, veda Site Omleiden: reindirizzare un dominio o una pagina.
Un soft 404 è una pagina che indica di non esistere, o che è quasi vuota, ma restituisce comunque il codice 200 (trovato). Google spesso lo riconosce e non include tale pagina. In Search Console la vede indicata come motivo Soft 404. Anche reindirizzare tutte le pagine eliminate alla Sua home page può essere considerato un soft 404. Faccia quindi restituire un vero 404 o 410 a una pagina realmente scomparsa.
Deve rimuovere rapidamente una pagina dai risultati, per esempio perché conteneva per errore dati personali? Utilizzi allora Rimozioni in Search Console. Si tratta di una soluzione temporanea, valida per circa sei mesi. Si assicuri quindi anche che la pagina abbia un 404, 410, una password o un noindex.
Per saperne di più
- Google: bloccare l'indicizzazione con noindex (in inglese)
- Google: introduzione a robots.txt (in inglese)
- Google: rapporto robots.txt
- Bloccare file tramite .htaccess
Utilizza WordPress? Nella lezione Individuabilità: le basi del corso gratuito su WordPress può leggere ulteriori informazioni su robots.txt e sulla casella Scoraggia i motori di ricerca.