Consentire o bloccare i crawler IA: robots.txt e llms.txt
I servizi di IA come ChatGPT, Claude, Gemini e Perplexity recuperano pagine web per addestrare i modelli, per fornire risposte di ricerca o per rispondere alla domanda di un utente. Con robots.txt Lei indica quali di questi robot possono visitare il Suo sito. Esiste inoltre la proposta llms.txt. In questo articolo scoprirà quali robot esistono, come consentirli o bloccarli e che cosa fa, e non fa, llms.txt. Come esempio utilizziamo example.com.
1. I principali robot di IA
La maggior parte delle aziende di IA utilizza nomi distinti per l'addestramento, la ricerca e il recupero su richiesta di un utente. In questo modo può, per esempio, bloccare l'addestramento e continuare comunque a comparire nelle risposte di ricerca.
| Nome in robots.txt | Di | A cosa serve |
|---|---|---|
GPTBot | OpenAI | Raccogliere pagine che possono essere utilizzate per addestrare i modelli |
OAI-SearchBot | OpenAI | La funzione di ricerca di ChatGPT. Se lo blocca, il Suo sito non comparirà nelle risposte di ricerca di ChatGPT |
ChatGPT-User | OpenAI | Recuperare una pagina quando un utente lo richiede. Secondo OpenAI, in questo caso robots.txt potrebbe non essere applicato |
ClaudeBot | Anthropic | Raccogliere pagine che possono essere utilizzate per addestrare i modelli |
Claude-SearchBot | Anthropic | Indicizzare pagine per la funzione di ricerca di Claude |
Claude-User | Anthropic | Recuperare una pagina quando un utente lo richiede |
Google-Extended | Non è un robot a sé stante, ma un nome con cui indica se Google può utilizzare i Suoi contenuti per addestrare i modelli Gemini e per il grounding. Secondo Google, ciò non influisce sul Suo posizionamento in Google Search | |
PerplexityBot | Perplexity | Mostrare e linkare siti nei risultati di ricerca di Perplexity, non per l'addestramento |
Perplexity-User | Perplexity | Recuperare una pagina quando un utente lo richiede. Secondo Perplexity, questo robot di solito ignora robots.txt |
L'elenco cambia regolarmente. Per i nomi aggiornati consulti la documentazione di OpenAI, Anthropic, Google e Perplexity.
2. Un esempio di robots.txt
Questo esempio blocca l'addestramento dei modelli, ma consente l'accesso ai robot di ricerca e ai normali motori di ricerca:
User-agent: GPTBot Disallow: / User-agent: ClaudeBot Disallow: / User-agent: Google-Extended Disallow: / User-agent: * Disallow: /winkelmand/ Sitemap: https://example.com/sitemap.xml
- Un robot segue solo il gruppo con il proprio nome, altrimenti il gruppo
*. Nell'esempio, quindi, GPTBot non può accedere da nessuna parte eDisallow: /winkelmand/non si applica a GPTBot. - Se desidera consentire l'accesso a tutti i robot di IA, non deve fare nulla: in assenza di regole, tutto è consentito.
- Se blocca per errore un robot di ricerca, come
OAI-SearchBot,Claude-SearchBotoPerplexityBot, il Suo sito sarà meno visibile in quei servizi di ricerca basati sull'IA. - Il blocco vale solo per il futuro. Ciò che è già stato recuperato in precedenza non viene recuperato indietro.
public_html del Suo dominio. Può crearlo o modificarlo tramite File Manager o FTP. WordPress genera automaticamente un robots.txt finché non è presente alcun file, e l'AI Builder ne inserisce uno automaticamente al momento della pubblicazione. Per saperne di più sul funzionamento di robots.txt, legga Escludere una pagina da Google: robots.txt o noindex?.3. Che cos'è llms.txt?
llms.txt è una proposta del 2024 per un file di testo su https://example.com/llms.txt. Al suo interno inserisce, in Markdown, una breve descrizione del Suo sito e i link alle pagine più importanti, in modo che un servizio di IA veda rapidamente dove si trovano le informazioni corrette. Un semplice esempio:
# Panetteria Esempio > Panetteria artigianale a Bologna con pane, pasticceria e torte su ordinazione. ## Pagine importanti - [Assortimento](https://example.com/assortiment): pane, pasticceria e torte - [Ordinare](https://example.com/bestellen): ordinare e ritirare una torta - [Contatti](https://example.com/contact): indirizzo e orari di apertura
Buono a sapersi:
- llms.txt non è uno standard ufficiale, ma una proposta. Non vi è alcuna garanzia che i servizi di IA leggano il file. Google ha fatto sapere che Google Search non lo utilizza.
- llms.txt non blocca nulla. Se desidera tenere lontani i robot, utilizzi robots.txt.
- Il file non viene creato automaticamente: lo crea Lei stesso oppure lo fa generare da un plugin.
4. Creare llms.txt in WordPress
I plugin SEO più noti possono creare e mantenere aggiornato llms.txt per Lei:
- Yoast SEO: vada su Yoast SEO, Impostazioni, Funzionalità del sito e attivi llms.txt tra le funzionalità di IA. Può lasciare che sia Yoast a scegliere le pagine oppure indicarle Lei stesso.
- Rank Math: nella Bacheca di Rank Math attivi il modulo LLMS Txt. Le impostazioni si trovano poi in Impostazioni generali.
I nomi dei menu variano a seconda della versione. Se non vede l'opzione, aggiorni il plugin. Successivamente potrà visualizzare il file su https://ilsuodominio.it/llms.txt.
Senza WordPress, crea il file Lei stesso: un file di testo llms.txt nella cartella public_html, proprio come robots.txt.
Spiegazione dettagliata con schermate: Sitemap e robots.txt con WordPress e il Suo sito e Sitemap e robots.txt con l'AI Builder nella guida Farsi trovare online.
Desidera saperne di più? Segua il corso gratuito Farsi trovare online, lezione 3.3 robots.txt: che cosa bloccare e che cosa no.