Come testare il file robots.txt su Search Console e controllare se un URL è stato bloccato.

Come modificare e testare il file robots.txt dalla searc Console di Google per bloccare la scansione di specifici URL.

Ricordo che il file robots.txt è quello che determina le regole per la scansione delle pagine e degli elementi del sito dai vari crawler.  Gli utenti di Blogger possono personalizzare il file robots.txt dalla Bacheca. Tale operazione è consigliabile solo a chi sia particolarmente esperto visto che può portare al blocco della indicizzazione di pagine o di altri contenuti del sito.

Tutti i siti che utilizzano la piattaforma Blogger possono visualizzare il loro file robots.txt direttamente online incollando alla fine dell'URL della Homepage la stringa /robots.txt.  Per questo blog bisogna quindi aprire nel browser questo indirizzo

http://www.ideepercomputeredinternet.com/robots.txt

Per la sua modifica invece si può andare su Impostazioni > Preferenze di ricerca > Crawler e indicizzazione > File robots.txt personalizzato > Modifica

Nel modulo possiamo inserire fino a 10.000 caratteri e andare su Salva modifiche. Tutti i blog di Blogger hanno la stessa tipologia di file robots.txt che è la seguente

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: http://www.ideepercomputeredinternet.com/sitemap.xml

dove solo l'ultima riga è diversa da sito a sito ed è la nuova sitemap di Blogger in formato XML. Le modifiche che potevamo fare dalla Bacheca adesso è possibile farle anche da Search Console ex Strumenti per Webmaster. I blog che si creano con Blogger vengono aggiunti automaticamente come di nostra proprietà nella Search Console. Si seleziona quello che ci interessa quindi si va su Scansione > Tester dei file robots.txt    che aprirà una finestra come questa

Oltre alla struttura solita del file robots.txt c'è il link Consulta il robots.txt sul sito che apre la pagina che abbiamo visto all'inizio del post. In basso ci sono il numero di Errori e di Avvisi relativi al file robots.txt nel caso si siano commessi errori o se siano stati rilevati dei problemi.

PERSONALIZZAZIONI DEL FILE ROBOTS.TXT

Per modificare il file robots.txt dalla Search Console si agisce sul codice. Ecco 2 esempi:

1) Bloccare URL per impedirne la scannerizzazione - Si incollano queste righe

Disallow: /2015/06/titolo-post1.html
Disallow: /p/nome-pagina1.html

per non far indicizzare il post e la pagina che hanno come parte finale l'URL dopo Disallow.

Dopo le modifiche si va su Invia. Si aprirà questa finestra popup in cui eseguire precauzionalmente tutte e tre le operazioni

Verremo informati che l'operazione è riuscita e di ricaricare la pagina di tester dopo un minuto. In realtà un minuto è decisamente troppo poco affinché le modifiche vengano digerite da Google.



2) Bloccare l'indicizzazione delle immagini - Si incollano queste due righe:

User-agent: Googlebot-Image
Disallow: /

Dopo un certo periodo le modifiche saranno recepite. Controllare sempre che non appaiano degli errori o degli avvisi per eventualmente rimettere il file robots.txt presente di default su Blogger.

COME TESTARE SE UN POST O UNA PAGINA È BLOCCATA

Si incolla l'ultima parte dell'URL nel campo in fondo alla pagina quindi si va su Testa

Verrà evidenziata la riga del file che ne consente o che ne blocca l'indicizzazione.