Sitemap e robots.txt in WordPress e sul Suo sito

Una sitemap è un elenco degli indirizzi che desidera far comparire nei motori di ricerca. Un file robots.txt indica ai motori di ricerca quali indirizzi non possono visitare e dove si trova la Sua sitemap. Ecco come controllarli in WordPress e in un sito creato da Lei.

WordPress

Dalla versione 5.5 WordPress crea automaticamente una sitemap e un robots.txt:

• La sitemap si trova all'indirizzo https://jouwdomein.nl/wp-sitemap.xml.
• Il robots.txt è virtuale: nella Sua cartella web non c'è alcun file, ma WordPress lo mostra all'indirizzo https://jouwdomein.nl/robots.txt, con un rimando alla sitemap.
• Utilizza un plugin SEO, come Yoast SEO o Rank Math? In tal caso il plugin crea spesso una propria sitemap, ad esempio sitemap_index.xml. L'indirizzo si trova nelle impostazioni del plugin. È questo l'indirizzo da inviare a Google e Bing.

Un robots.txt standard di WordPress ha all'incirca questo aspetto:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://jouwdomein.nl/wp-sitemap.xml

WordPress blocca i motori di ricerca?

1. Acceda a WordPress e vada in Impostazioni e poi in Lettura.
2. Alla voce relativa alla visibilità per i motori di ricerca, controlli la casella Scoraggia i motori di ricerca dall'effettuare l'indicizzazione di questo sito.
3. Questa casella deve essere disattivata. Clicchi su Salva modifiche.

Se la casella è attivata, WordPress chiede ai motori di ricerca di ignorare tutto il Suo sito. Spesso viene attivata durante la realizzazione del sito e poi dimenticata.

Per saperne di più sulla visibilità in WordPress, legga Visibilità: le basi.

Un robots.txt personalizzato

Se inserisce Lei stesso un file robots.txt nella Sua cartella web, questo ha la precedenza sul robots.txt virtuale di WordPress. Con un pacchetto di hosting WebOké la cartella web è public_html del Suo dominio. Può caricare il file con il File Manager di DirectAdmin (vedere Aprire il File Manager: le cartelle del Suo pacchetto) oppure tramite FTP.

Un semplice robots.txt che consente tutto e rimanda alla Sua sitemap:

User-agent: *
Allow: /
Sitemap: https://jouwdomein.nl/sitemap.xml

Un sito creato da Lei

Realizza il Suo sito da sé o con un altro programma? Verifichi allora se quel programma crea una sitemap. In caso contrario, può farne a meno: anche un piccolo sito con buoni collegamenti tra le pagine viene trovato. Una sitemap è comunque utile. La inserisca nella Sua cartella web e la indichi nel Suo robots.txt, come mostrato sopra.

Controllare

• Apra https://jouwdomein.nl/robots.txt. Sotto User-agent: * compare Disallow: /? In tal caso nessun motore di ricerca può visitare il Suo sito. Rimuova questa riga quando il sito è pronto.
• È presente una riga Sitemap:? Apra quell'indirizzo nel browser. Dovrebbe vedere un elenco di indirizzi del Suo sito, con https e il Suo dominio.

Suggerimento: il robots.txt non esclude una pagina da Google. Una pagina che non può essere visitata può comunque comparire nei risultati di ricerca se altri siti vi rimandano con un link. Se desidera davvero escludere una pagina da Google, utilizzi un noindex. La differenza è spiegata nella lezione robots.txt: cosa blocca e cosa no del corso Farsi trovare online.