Se stai cercando come modificare il file robots.txt di Shopify, probabilmente hai letto che può migliorare la SEO del tuo e-commerce. In parte è vero, ma a patto di sapere esattamente quello che stai facendo ed avere chiaro cosa vuoi ottenere.
Gestire un negozio online porta con sé la sfida di farsi trovare facilmente su Google, ma spesso ci si imbatte in una selva oscura di impostazioni tecniche. Da un lato, vuoi che i motori di ricerca esplorino le pagine importanti; dall’altro, temi che finiscano per sprecare risorse su contenuti non essenziali.
Il file robots.txt entra in gioco proprio come un semaforo per i crawler, ma senza la giusta strategia si rischia solo di bloccare il traffico commerciale.
Come funziona robots.txt.liquid su Shopify
Su Shopify il robots.txt non viene modificato direttamente tramite FTP. La piattaforma lo configura già di default seguendo le migliori pratiche SEO, bloccando preventivamente le URL di servizio (come l'area admin, la barra di ricerca interna, il carrello e il checkout).
Per personalizzarlo in sicurezza senza perdere queste ottimizzazioni native, è necessario creare un file di template dedicato all'interno del tema.
- Accedi al pannello di controllo: Entra nella sezione Temi sotto la voce Negozio Online del tuo Shopify Admin.
- Apri l'editor del codice: Clicca sui tre puntini del tuo tema attivo e seleziona Modifica Codice.
- Crea il nuovo modello: Sotto la cartella dei Modelli (Templates), clicca su Aggiungi un nuovo modello, seleziona robots e crea il file robots.txt.liquid.
Questo approccio permette a Shopify di continuare ad aggiornare automaticamente la struttura del file nel tempo, applicando le tue personalizzazioni in totale sicurezza rispetto alla sostituzione completa del codice scritto a mano.
Guida strategica e approfondimento tecnico
Prima di toccare anche solo una riga, è fondamentale capire come i motori di ricerca elaborano questo file per evitare configurazioni errate che potrebbero costare caro in termini di fatturato.
A cosa serve il file robots.txt?
Il file robots.txt comunica ai crawler dei motori di ricerca, come Googlebot, quali aree del sito possono essere sottoposte a scansione e quali invece dovrebbero essere escluse perchè prive di valore strategico. Il suo scopo principale è gestire la scansione delle URL, aiutando i motori di ricerca a ottimizzare il proprio tempo di permanenza sul sito.
Se lasciate liberamente accessibili, le pagine di servizio rischiano di disperdere il crawl budget (il budget di scansione), ovvero il pacchetto di risorse che Google dedica all'analisi del tuo e-commerce, facendogli perdere tempo prezioso che dovrebbe invece investire sulle pagine realmente importanti.
Scansione vs Indicizzazione: andiamo con ordine
Uno degli errori più frequenti è pensare che una pagina bloccata dal robots.txt non possa apparire nei risultati di ricerca. In realtà si tratta di due processi distinti:
- La scansione è il momento in cui Google visita una pagina per analizzarne il contenuto e il codice.
- L'indicizzazione è il processo successivo in cui quella pagina viene inserita nel database di Google per comunqueparire in SERP.
Questo significa che una pagina deve essere prima scoperta e scansionata affinché possa essere indicizzata correttamente.
Un esempio pratico: Immagina che una pagina sia bloccata nel robots.txt ma riceva link da altri siti web. Google potrebbe comunque inserirla nel proprio indice basandosi esclusivamente sulle informazioni dei link esterni, anche senza aver mai scansionato il contenuto della pagina stessa. Per questo motivo il robots.txt non sostituisce in alcun modo l'uso mirato del tag noindex.
Aggiungere nuove regole a un gruppo esistente
Nella pratica SEO per e-commerce, le personalizzazioni più comuni riguardano il blocco di stringhe parametriche che generano contenuti scarni (thin content) o duplicati dannosi. Ecco i pattern più caldi su cui ha senso intervenire:
- /collections/all – Blocca la collezione predefinita che elenka tutti i prodotti dello store (attenzione a non usarlo se hai collezioni reali con questa keyword nel percorso).
- /collections/*?*filter* – Blocca la scansione dei parametri di filtro comuni.
- /collections/*?*pf_* – Utile per bloccare i parametri di navigazione generati da specifiche app di filtri.
- /collections/*?*view* – Blocca i parametri legati al cambio di visualizzazione del numero di prodotti per pagina.
- /collections/*?*grid_list* – Esclude le URL che modificano solo il layout della griglia prodotti.
- /collections/?page=* – Blocca la scansione dell’impaginazione standard (assicurati che non ci siano caratteri jolly prima del punto interrogativo).
- /collections/vendors*?*q= – Impedisce a Google di scansionare le pagine predefinite dei fornitori, spesso prive di contenuti originali.
Il messaggio di Search Console "Indicizzata, anche se bloccata dal robots.txt"
Questo avviso in Search Console è in assoluto uno di quelli che genera più falsi allarmi. All'atto pratico significa semplicemente che Google ha trovato la pagina tramite link esterni, ma ha rispettato il blocco del robots.txt non leggendone il codice.
Se questo avviso colpisce le pagine di servizio sopra citate o i filtri parametrici, il comportamento è normale e previsto. Il discorso cambia radicalmente se l'avviso riguarda la homepage, le schede prodotto o le collezioni principali: in quel caso siamo davanti a un errore strategico che sta tagliando le gambe al posizionamento di pagine che dovrebbero generare fatturato. Lì bisogna intervenire subito per correggere la configurazione.
E i crawler delle intelligenze artificiali?
Una domanda che mi viene posta sempre più spesso riguarda i bot delle IA (como OpenAI o Anthropic). Il robots.txt può fermarli inserendo regole dedicate a questi specifici user-agent, ma con due precisazioni fondamentali: le direttive rimangono un "gentlemen's agreement" (istruzioni che i bot legittimi rispettano, non un firewall di sicurezza), e se utilizzi canali come Shopify Catalog per spingere i prodotti su merchant esterni (Meta, Google Shopping), quei dati viaggiano tramite API e feed indipendenti, aggirando completamente il file robots.txt.
La mia esperienza sul campo
Nei miei audit SEO mi capita costantemente di analizzare store Shopify con file robots.txt modificati senza una reale necessità tecnica, spesso ereditando vecchie direttive da migrazioni passate. Nella stragrande maggioranza dei casi, queste personalizzazioni "fai-da-te" non hanno portato alcun beneficio; al contrario, rischiano di mandare in tilt Googlebot limitando la visibilità di URL strategiche.
Ogni e-commerce ha la sua struttura: cataloghi complessi che abusano di filtri di navigazione o sistemi di faceted navigation (navigazione a faccette) tendono a generare una mole infinita di URL parassite. In questi scenari il crawl budget si disperde ed è qui che il consulente deve intervenire.
In conclusione, il robots.txt di Shopify si modifica solo quando c’è una diagnosi chiara, supportata dall'analisi dei log del server e dei dati di Search Console. In caso contrario, il rischio di fare danni supera di gran lunga i potenziali benefici.
Approfondimenti ufficiali:
Spesso i problemi di scansione nascondono falle strutturali più gravi che rallentano l’indicizzazione e bloccano le vendite. Puoi vedere come ho affrontato e risolto una bonifica tecnica completa di questo tipo nel mio caso studio SEO su Rubino Kids, uno store Shopify Enterprise da oltre 11 milioni di euro di fatturato.
