Tenere una pagina fuori da Google: robots.txt o noindex?
Non desidera che una pagina compaia su Google, ad esempio una pagina di ringraziamento, una pagina di test o una vecchia promozione? Molti pensano subito al file robots.txt. Tuttavia robots.txt non tiene una pagina fuori da Google. Per questo esiste noindex. In questo articolo scoprirà la differenza, come utilizzare entrambi e cosa fare con una pagina che ha eliminato. Utilizziamo example.com come esempio.
La differenza in breve
| robots.txt | noindex | |
|---|---|---|
| Cosa dice | "Non recuperare questa pagina." | "Non includere questa pagina nei risultati di ricerca." |
| Tiene una pagina fuori da Google? | No. Se altri siti rimandano alla pagina, l'indirizzo può comunque comparire, senza descrizione. | Sì, non appena Google ha visitato di nuovo la pagina. |
| Dove si trova? | Un unico file su https://example.com/robots.txt | Nella pagina stessa, oppure come intestazione inviata dal server |
| A cosa serve? | A gestire il traffico di scansione, ad esempio per saltare le pagine dei risultati di ricerca interne del Suo sito | Pagine che restano raggiungibili, ma che non devono comparire su Google |
Nessuno dei due è una misura di sicurezza. Chiunque può leggere il Suo robots.txt, e una pagina con noindex resta normalmente raggiungibile. Se qualcosa deve essere davvero protetto, lo metta dietro una password. Consulti Proteggere una cartella con una password in DirectAdmin.
Utilizzare noindex
Inserisca questa riga nella sezione <head> della pagina:
<meta name="robots" content="noindex">
Per i file senza HTML, come un pdf, il server può inviare la stessa istruzione come intestazione: X-Robots-Tag: noindex. L'effetto è lo stesso.
Di solito non è necessario digitarlo manualmente:
- AI Builder: apra la sezione SEO, scelga la pagina e, sotto Altro per questa pagina, disattivi l'interruttore Questa pagina è trovabile su Google. La pagina resta raggiungibile, ma riceve un noindex. Pubblichi quindi di nuovo il sito.
- WordPress: un plugin SEO offre per ogni pagina un'impostazione per non farla indicizzare. La casella Scoraggia i motori di ricerca dall'effettuare l'indicizzazione di questo sito in Impostazioni, Lettura vale per l'intero sito.
- Altri website builder: cerchi un'impostazione come "nascondere ai motori di ricerca".
Creare o modificare robots.txt
In un pacchetto di hosting, robots.txt si trova nella cartella web del Suo dominio, in DirectAdmin la cartella public_html. Può creare o modificare il file tramite File Manager o FTP, consulti Aprire il File Manager: le cartelle del Suo pacchetto. Un esempio:
User-agent: * Disallow: /zoeken Disallow: /winkelmand/ Sitemap: https://example.com/sitemap.xml
User-agent: *vale per tutti i robot dei motori di ricerca.Disallow:seguito da un percorso vieta tutto ciò che inizia con quel percorso.Disallow: /vieta l'intero sito.- Se crea anche un gruppo
User-agent: Googlebot, Google seguirà solo quel gruppo e ignorerà il gruppo*. Ripeta quindi lì tutte le regole che valgono anche per Google. - Non blocchi cartelle con fogli di stile, script o immagini di cui la Sua pagina ha bisogno.
- L'assenza di un robots.txt non è un problema: in quel caso tutto è consentito. Se l'indirizzo restituisce un errore del server, Google smette temporaneamente di recuperare le pagine.
WordPress genera automaticamente un robots.txt finché nella cartella web non è presente alcun file. L'AI Builder crea automaticamente, al momento della pubblicazione, un robots.txt con una riga Sitemap:.
Spiegazione dettagliata con schermate: Sitemap e robots.txt con l'AI Builder e Sitemap e robots.txt con WordPress e il Suo sito nella guida Farsi trovare online.
Google conserva di solito il Suo robots.txt fino a 24 ore. In Search Console trova in Impostazioni il Rapporto robots.txt: quale versione Google ha recuperato per ultima, con errori e avvisi, e un pulsante per richiederne di nuovo il recupero.
Una pagina eliminata: 404 o 410, non un soft 404
Se ha eliminato una pagina, l'indirizzo deve restituire il codice di stato 404 (non trovato) o 410 (rimosso). Alla visita successiva Google rimuoverà l'indirizzo dai risultati di ricerca. Se la pagina ha una sostituta, reindirizzi il vecchio indirizzo con un 301 alla nuova pagina, consulti Site Redirection: reindirizzare un dominio o una pagina.
Un soft 404 è una pagina che dichiara di non esistere, o che è quasi vuota, ma che restituisce comunque il codice 200 (trovato). Google spesso lo riconosce e non include una pagina di questo tipo. In Search Console lo vedrà come motivo Soft 404. Anche reindirizzare tutte le pagine eliminate alla Sua homepage può essere considerato un soft 404. Faccia quindi in modo che una pagina davvero rimossa restituisca un vero 404 o 410.
Una pagina deve sparire rapidamente dai risultati, ad esempio perché conteneva per errore dati personali? Utilizzi allora Rimozioni in Search Console. Questa funzione è temporanea, circa sei mesi. Si assicuri quindi anche che la pagina abbia un 404, un 410, una password o un noindex.
Per approfondire
- Google: Bloccare l'indicizzazione con noindex (in inglese)
- Google: Introduzione a robots.txt (in inglese)
- Google: Rapporto robots.txt
- Bloccare file tramite .htaccess
Utilizza WordPress? Nella lezione Visibilità: le basi del corso gratuito di WordPress troverà maggiori informazioni su robots.txt e sulla casella Scoraggia i motori di ricerca.
Desidera saperne di più? Segua il corso gratuito Farsi trovare online, lezione 3.3 robots.txt: cosa bloccare e cosa no.