Come modificare il file robots di Shopify

Hai mai sentito parlare del file robots.txt ma ti sei perso nei meandri delle sue regole e direttive? Sei nel posto giusto. Gestire un negozio online su Shopify porta con sé la sfida di farsi trovare facilmente su Google, ma spesso ci si imbatte in una selva oscura di impostazioni SEO che sembrano più un ostacolo che un'aiuto.

Da un lato, vuoi che i motori di ricerca esplorino le pagine importanti del tuo sito, dall'altro, temi che finiscano per dedicare troppo tempo a contenuti non essenziali o addirittura riservati. Ecco che il file robots.txt entra in gioco come il tuo personale semaforo per i crawler dei motori di ricerca, ma senza le istruzioni giuste, potrebbe finire per dirigere il traffico nel modo sbagliato.

Considerazioni prima di modificare il file robots.txt

Se intendi personalizzare il robots.txt.liquid di Shopify, ti suggerisco vivamente di collaborare con un Partner Shopify, specialmente se ti mancano competenze in programmazione e SEO.

Tramite Liquid, puoi facilmente aggiungere o eliminare direttive nel modello robots.txt.liquid, consentendo a Shopify di aggiornare automaticamente il file anche in futuro. Questa è la pratica raccomandata.

Inoltre, prima di apportare modifiche al robots.txt.liquid, assicurati di eliminare qualsiasi personalizzazione precedente, compreso l'utilizzo di servizi esterni come Cloudflare.

Come modificare il file Robots su Shopify

• Dal tuo pannello Shopify vai su Impostazioni> App e canali di vendita e clicca su Online Store.
• Clicca sulla voce Apri canale di vendita e poi clicca su Temi.
• Clicca sulla voce Modifica codice e successivamente su Aggiungi un nuovo modello.
• Seleziona quindi robots e poi clicca su Crea modello.

Qui puoi effettuare tutte le modifiche che ti servono. Una volta fatto, ricorda di salvare le modifiche al file robotx.txt.liquid nel tema. 

Le modifiche saranno subito salvate ma occorrerà attendere il passaggio dei crawler per vedere effettivamente le modifiche sul motore di ricerca. Puoi comunque utilizzare il tester del file robots.txt di Google per vederlo in anteprima.

Quando personalizzi il file Robots.txt.liquid su Shopify, ci sono tre modifiche principali che potresti voler effettuare: l'aggiunta di nuove regole a gruppi esistenti, la rimozione di regole da questi gruppi, e l'introduzione di regole completamente personalizzate.

Un "gruppo" in questo contesto si riferisce a un insieme di direttive specificamente mirate a determinati crawler dei motori di ricerca. Queste personalizzazioni permettono una gestione dettagliata di come i crawler accedono e interagiscono con il tuo sito. Nello specifico vedremo come aggiungere una nuova regola ad un gruppo esistente, che potrebbe essere l'opzione seo che ti interessa.

Aggiungi una nuova regola a un gruppo esistente

Potresti considerare l'aggiunta di alcune di queste regole. Fai attenzione, ognuna di questa ha una funzione specifica. Se non sei sicuro di cosa fare, contatta un professionista.

• /collections/all - Questo bloccherà la collezione predefinita contenente un elenco di tutti i prodotti ( NOTA: questo bloccherà qualsiasi collezione con maniglie come tutte le magliette, non utilizzare se disponi di questo)
• /collections/*?*filter* - Ciò bloccherà la scansione dei parametri di filtro comuni
• /collections/*?*pf_* - Ciò bloccherà la scansione di un parametro di filtro comune
• /collections/*?*view* - Ciò bloccherà un parametro per modificare il numero di prodotti visualizzati
• /collections/*?*grid_list* - Ciò bloccherà un parametro per modificare la modalità di visualizzazione dei prodotti
• /collections/?page=* - Ciò bloccherà la scansione dell'impaginazione della raccolta predefinita ( NOTA: è importante che non ci siano caratteri jolly prima del punto interrogativo, altrimenti si applicherebbe a ogni impaginazione della raccolta)
• /collections/vendors*?*q= - Ciò bloccherà la scansione delle raccolte dei fornitori predefiniti

Perchè dovresti personalizzare il tuo robots.txt su Shopify?

La personalizzazione del Robots.txt è cruciale per gestire il budget di scansione (crawl budget) e il contenuto di bassa qualità sul tuo sito.

Il "crawl budget" indica le risorse che i motori di ricerca dedicano all'analisi del tuo sito. Limitare la scansione a pagine rilevanti ottimizza l'uso di queste risorse, assicurando che le pagine importanti vengano indicizzate regolarmente.

Utilizzare Robots.txt consente di dirigere i crawler dei motori di ricerca soltanto nei contenuti utili, evitando le pagine inutili o poco significative e massimizzando quindi il miglioramento del tuo sito web sui motori di ricerca.

La questione dei contenuti di poco valore (thin content)

Il termine "contenuti scarsi" si riferisce a pagine web che non offrono valore aggiunto agli utenti, come le pagine predefinite per i fornitori su Shopify, prive di contenuti originali o personalizzazione. Queste pagine difficilmente si posizioneranno bene su Google a causa della loro natura generica e dell'URL non ottimizzato.

La strategia migliore consiste nel bloccare o rimuovere tali pagine, sostituendole con nuove raccolte Shopify personalizzate che rispecchino specificamente il marchio o il fornitore in questione.

Tempo fa non era possibille modificare il Robots.txt su Shopify, l'unica strategia era impostare le pagine come noindex, follow, permettendo ai motori di ricerca di seguire i link senza indicizzare la pagina.Questo metodo, pur funzionale, non evitava la scansione iniziale di numerose pagine. Ora, grazie alla personalizzazione del Robots.txt, possiamo prevenire la scansione di contenuto non essenziale, ottimizzando l'utilizzo del budget di scansione e limitando la presenza di contenuto scarno. 

Approfondimenti:

• Customize robots.txt (in inglese)
• Robotx.txt.liquid Shopify (in inglese)

Se ti è piaciuto questo articolo, condividilo con i tuoi amici!.