Come far indicizzare da Google le pagine statiche di Blogger.

Come migliorare l'indicizzazione delle pagine statiche di Blogger aggiungendo la loro sitemap nel file robots.txt.

Nel post precedente abbiamo evidenziato quali siano le differenze tra i post e le pagine statiche di Blogger e di come sia preferibile usare i post per pubblicare i contenuti da indicizzare mentre le pagine siano più utili per modulo di contatto, la Cookie Policy e altre funzionalità di supporto al sito.

Il fatto che le Pagine siano create intrinsecamente per non essere indicizzate non è detto che rimangano sconosciute a Google che anzi dimostra di conoscerle bene. Per fare un esempio se cercate il nome di questo sito con Google troverete 5 pagine statiche su 6 Sitelink totali.

Oltre alla Politica dei Cookie ci sono anche la Mappa del Sito, il Disclaimer, il Modulo di Contatto e il Widget di tutti i post pubblicati.

Google privilegia le Pagine Statiche come Sitelink per la semplice ragione che spesso costituiscono gli elementi del Menù nativo di Blogger creato appunto con le Pagine statiche. Google le vede quindi come sezioni del nostro blog.

Tutti i siti su Blogger compresi quelli con dominio personalizzato hanno il file robots.txt che indica ai motori di ricerca quello che devono e non devono indicizzare. Per esempio qui

http://www.ideepercomputeredinternet.com/robots.txt

c'è il file di questo sito. Nel file robots.txt c'è l'indicazione di non indicizzare le etichette

con il comando Disallow: /search che è l'unico presente insieme alla sitemap. In realtà come ho dimostrato qualche tempo fa Google indicizza anche alcune etichette. Per rendersene conto basta digitare nella barra di Google questa query relativa a questo sito o un'altra analoga

site:www.ideepercomputeredinternet.com/search

per poi ripetere la ricerca con i risultati omessi.

COME FAVORIRE L'INDICIZZAZIONE DELLE PAGINE STATICHE

Come abbiamo visto Google crea automaticamente la sitemap dei blog su Blogger. Quella di questo sito può essere aperta e anche scaricata incollando nel browser questo URL

http://www.ideepercomputeredinternet.com/sitemap.xml

Le sitemap lunghe sono divise in pagine. La prima pagina può essere aperta in questo URL

http://www.ideepercomputeredinternet.com/sitemap.xml?page=1

Blogger oltre alla sitemap dei post crea però anche la Sitemap delle Pagine

http://www.ideepercomputeredinternet.com/sitemap-pages.xml

Se abbiamo all'interno delle nostre pagine dei contenuti che riteniamo utile indicizzare possiamo aggiungere tale Sitemap nel file robots.txt. Si va su Impostazioni > Preferenze di ricerca > Crawler e indicizzazione > File robots.txt personalizzato e clicchiamo su Modifica

 

quindi mettiamo la spunta su Sì e nel campo che si apre incolliamo un testo come questo

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: http://www.ideepercomputeredinternet.com/sitemap.xml
Sitemap: http://www.ideepercomputeredinternet.com/sitemap-pages.xml

in questo modo

e si va su Salva Modifiche. Ovviamente va incollato l'URL del vostro sito al posto di quello di questo blog. Ricordarsi di usare il .com e non il .it se avete un blog gratuito. Con questa impostazione Google indicizzerà in modo più accurato le vostre pagine che potranno andare a far parte dei risultati delle ricerche. Data la delicatezza di questa operazione è bene controllare almeno una volta la settimana per un paio di mesi il numero delle visite del sito nelle Statistiche di Blogger per verificare di avere avuto un beneficio da questa impostazione.