Il file robots.txt decide quali bot possono leggere il tuo sito. Per un CMO B2B o un Founder, un errore qui non è “solo tecnico”: può ridurre la probabilità che ChatGPT, Claude o Perplexity trovino segnali utili su prodotto, casi d’uso e differenziatori.
Il risultato operativo è semplice: meno citazioni, meno raccomandazioni e shortlist meno favorevoli lungo il funnel.
Cos’è robots.txt (e perché impatta le risposte delle AI)
Robots.txt è un file pubblico (di solito su /robots.txt) che fornisce istruzioni di crawling agli user-agent. In pratica, comunica a crawler e bot quali percorsi possono visitare e quali devono evitare. Se blocchi aree che contengono informazioni decisive (FAQ tecniche, pagine prodotto, confronti, case study), riduci la quantità di contenuto “leggibile” che può entrare nel perimetro di raccolta dei sistemi automatizzati.
Nel contesto GEO (Generative Engine Optimization), i modelli e i sistemi di retrieval tendono a valorizzare contenuti chiari, verificabili e coerenti: definizioni, specifiche, esempi, prove sociali, fonti e pagine che spiegano posizionamento e use case.
Se questi asset sono difficili da raggiungere o vietati, l’AI avrà meno elementi per citarti correttamente o consigliarti rispetto ai competitor.
Robots.txt GEO: quali pagine non bloccare se vuoi essere citato
Molti siti B2B, per ragioni storiche di SEO o per governance, finiscono per disalloware sezioni “comode” da tagliare: aree tecniche, directory di supporto o pagine considerate secondarie. Tuttavia, sono spesso proprio queste pagine a contenere le entità e le relazioni che aiutano un sistema generativo a capire chi sei, cosa fai, per chi e in cosa sei diverso.
1 Prodotto
Pagine prodotto e feature
Spiegano benefici, requisiti, integrazioni, limiti e casi d’uso.
2 Supporto
FAQ tecniche e documentazione
Chiariscono terminologia, configurazioni, compatibilità e troubleshooting.
3 Prove
Case study e testimonianze
Forniscono evidenze, contesto e risultati misurabili per la fase di valutazione.
4 Confronti
Pagine confronto (vs alternative)
Aiutano a posizionare il brand nelle shortlist.
5 Fiducia
Sicurezza e compliance
GDPR, DPA, ISO: riducono frizione in procurement e rassicurano sul perimetro d’uso.
Se devi proteggere aree sensibili (admin, staging, pannelli, endpoint interni), fallo in modo chirurgico: l’obiettivo è preservare la leggibilità pubblica degli asset che supportano awareness, consideration e decisione, senza esporre ciò che non deve essere indicizzato o scansionato.
Dal controllo tecnico al funnel B2B: cosa cambia davvero
Nel funnel B2B, le risposte delle AI vengono usate sempre più spesso per identificare categorie, fare pre-selezione, validare rischi e confrontare opzioni. Con domande come queste:
Quali sono le migliori piattaforme per questa categoria?
Quali soluzioni esistono per questo bisogno in Italia o in Europa?
Questo fornitore è conforme al GDPR?
Pro e contro di A rispetto a B?
Se il tuo sito non offre contenuti accessibili che rispondono a queste domande, l’AI riempirà i vuoti con segnali di terze parti o con i contenuti dei competitor.
Questo non significa “aprire tutto a tutti”. Significa distinguere tra governance e oscuramento: puoi gestire compliance, policy e proprietà intellettuale, mantenendo però accessibili le pagine che definiscono proposition, proof e requisiti. In Brandplane, questo tipo di audit è spesso il primo passo prima di parlare di crescita GEO: se mancano i segnali di base, qualsiasi ottimizzazione successiva rende meno.
Come verificare robots.txt senza bloccare la visibilità GEO
1 Step 1
Controlla la versione live di /robots.txt
Apri tuodominio.it/robots.txt e verifica che non ci siano regole troppo ampie (ad esempio disallow su directory che contengono pagine prodotto, risorse o guide). Assicurati che il file che vedi sia quello in produzione e non una versione di staging.
2 Step 2
Mappa gli asset critici del funnel
Elenca le URL che sostengono decisioni B2B: prodotto, pricing (se pubblico), case study, pagine “vs”, FAQ, sicurezza/compliance, integrazioni. Verifica che queste URL non ricadano in percorsi disallowati e che restituiscano status 200 con contenuto completo.
3 Step 3
Separa ciò che va protetto da ciò che va letto
Proteggi aree admin, ambienti di test e endpoint interni con autenticazione e regole mirate, evitando blocchi generalisti. Definisci policy chiare su quali directory sono “public knowledge” e quali sono riservate, così da non compromettere citabilità e comprensione del brand.
Prima di parlare di crescita GEO, servono i segnali di base
In Brandplane l’audit degli asset accessibili è il primo passo: misura l’AI Brand Visibility Score, verifica cosa leggono davvero i motori AI e costruisci la tua Strategy Playbook.
