Creare robots.txt corretti per la SEO

Come e perchè Creare robots.txt?

Se vuoi sapere come creare robots.txt in modo corretto sei nel posto giusto!
Cercherò di spiegarti in modo semplice e veloce che cosa sono questi file testuali e a che cosa servono arrivando infine a spiegarti come si creano. SEI PRONTO/A?? Partiamo!

Cos’è un file robots.txt?

Il file robot è un documento testuale fatto apposta per essere letto dai crawler dei motori di ricerca.

Normalmente i crawler indicizzano tutti i file a cui riescono ad accedere sul tuo server.

A questo punto ci sono due problemi:il crawler di google

  1. I crawler possono indicizzare dati sensibili quali file riservati ecc. e renderne più semplice l’accesso al pubblico.
  2. Se il crawler processa molti file andrà inevitabilmente ad influire sulle prestazioni del server in cui è ospitato il tuo sito.

Per fortuna c’è una soluzione per controllare i crawler e dirgli esattamente che cosa devono indicizzare e che cosa non devono vedere. La soluzione si chiama robots.txt.

Dove deve essere posizionato il file robots.txt?

Il file robots.txt contiene le istruzioni che il crawler deve seguire, di conseguenza deve essere posizionato nella directory principale (root) del tuo dominio.
In base alle istruzione che scriverai nel file il crawler capirà in quali directory del server può accedere e in quali no, inoltre potremmo impostare un tempo massimo per scaricare i file dal server in modo da non affaticare il nostro sito web.

Perchè creare robots.txt è importante per la SEO?

Questo particolare file è importante soprattutto nella fase di indicizzazione di un sito ed è fondamentale che ci sia nella root del tuo sito web. Molte volte mi è capitato di essere contattato da Clienti che vedevano pagine del proprio sito sparire dalla ricerca su Google e disperati pensavano di essere stati penalizzati. In realtà le pagine erano sparite solo perchè il file robots.txt era stato scritto male.

Come si compila un file robots.txt?

Possiamo riassumere così la struttura e sintassi del file robots.txt:

  • User-agent
  • Disallow
  • Allow
  • Sitemap

Per prima cosa apri il Blocco Note su Windows e salva un file robots.txt. Ora seguendo le informazioni qui sotto andrai ad inserirci le direttive che ti servono.

Vediamo adesso nel dettaglio le funzioni e l’utilizzo degli elementi principali al fine di creare file robots.txt corretti!

User-agent

Con questo comando decidiamo a chi riferire il messaggio e deve essere il primo del file robots.

User-agent: *

In questo esempio, ho messo l’asterisco che significa che sto parlando a tutti i crawler. Se avessi voluto comunicare solo con Google avrei scritto “googlebot”. Io, a meno che tu non abbia particolari esigenze tecniche, ti consiglio di lasciare l’asterisco.

Allow e Disallow

Queste due direttive servono a specificare le directory che possono essere indicizzate e quelle invece che vanno “tralasciate”. Se il campo disallow viene lasciato vuoto significa che il crawler può indicizzare tutto il sito.
In particolare vediamo degli esempi:

#indicizza tutto il sito
User-agent: *
Disallow:

#indicizza tutto il sito tranne la directory wp-admin e sottocartelle.
User-agent: *
Disallow: /wp-admin/

ATTENZIONE! Non mettere lo slash / dopo il comando disallow perchè bloccheresti l’indicizzazione di tutto il tuo sito.
Esempio:
User-agent: *
Disallow: /

Crawl-delay

La direttiva Crawl-delay, se impostata, serve ad indicare ai crawler quanti secondi devono aspettare prima di richiedere una nuova risorsa al server durante il processo di indicizzazione. Questa direttiva non è supportata da Google, da Bing invece sì.

Sitemap

Con questa direttiva specifichiamo al crawler l’indirizzo della nostra o delle nostre sitemaps.
Per questa direttiva è importante tenere a mente queste regole:

  • L’indirizzo della sitemap deve essere una URL assoluta completa di http:// (Es. http://www.prova.it/page-sitemap.xml ).
  • Ogni file robots.txt può avere più di una Sitemap al proprio interno.

Conclusioni

Spero che questa mia guida su come creare file robots.txt correttamente ti sia stata utile. Se hai delle domande a riguardo non esitare a contattarmi o a lasciarmi un commento qui sotto!
Al prossimo articolo!