Il file robots.txt ottimizzato per WordPress

Verificando lo stato dell’indicizzazione del mio blog tramite gli Strumenti per i Webmaster di Google, mi sono accorto che 49 pagine non sono state selezionate e pertanto indicizzate  in quanto, secondo Google,  URL del sito reindirizzano ad altre pagine con contenuti sostanzialmente simili a quelli di altre pagine.

Ho imputato tale problema principalmente alla presenza di numerosi Tag all’inteno dei miei post che, essendo talvolata simili, inducevano Google a ritenere simili anche le pagine e pertanto ad escluderle dall’indicizzazione.

Per cercate di ovviare al problema, ho personalizzato il file robots.txt, aggiungendo delle regole al fine di evitare la duplicazione dei contenuti,  e non solo:

User-agent: *
Allow: /wp-content/uploads/
Disallow: /wp-
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/
Disallow: /trackback/
Disallow: /feed/
Disallow: /comments/
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /*?*
Disallow: /*?
Disallow: /tag/
Sitemap: http://www.iltuosito.com/sitemap.xml

Note importanti:
1) Per una ottimizzazione a livello SEO è consigliabile di personalizzare il Permanlnk, ovvero è meglio evitare di lasciare l’impostazione predefina www.iltuosito.it/?p=123, ma di personalizzarla con un opzione del tipo: /%postname%/ (Nome articolo).

Qualora si preferisca lasciare l’impostazione predefenita, è necessario rimuore dal file robots le seguenti regole, le quali bloccherebbero l’indicizzazione dei post:
Disallow: /*?*
Disallow: /*?
2) Utilizzando plugins WP, è possible personalizzare facilmante il file robots.txt, inoltre è anche possibile, e da qualcuno consigliato, per non indicizzare un tag o una categoria, di non usare il file robots bensì il meta tag “NOINDEX” , anche questa attività è agevolata da Plugin Wp, tra i quali segnalo caldamente SEO Ultimate.
3) Infine, per quanto ribuarda il file sitemap, se wordpress è installato in una directory, il sitemap sarà generato in quella directory, pertanto sarà necessario indicare l’url completo.