SummArg | Cursos y recursos para webmasters

07/01/2009

Robots.txt, ejemplo para wordpress y para vbulletin.

robots600x600El archivo robots.txt que tantas veces habrás sentido nombrar, no es otra cosa que un indicador para los bots de los sectores que deben recorrer de tu website y a cuales no querés que ingresen. Demás está decir que solo es válido para robots de buscadores y no para bots dañinos.

Esta medida también se toma para economizar ancho de banda, ya que algunos bots (como el de yahoo) puede aparecer de manera abundante tirando a excesiva. Además ya enviando sitemaps te estás asegurando de que tu contenido llegue, podés indicar tranquilamente a los bots que entren con menos frecuencia colocando, por ejemplo, esto:

User-agent: msnbot
Crawl-delay: 30

User-agent: Slurp
Crawl-delay: 10

El tiempo está en segundos, podés aumentarlo.

 

Ejemplo para wordpress (según sigt)

User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/
Disallow: /wp-includes/
Disallow: /wp-admin/
Disallow: /wp-

#
# Sitemap permitido, búsquedas no.
#

Sitemap: http://tu-web/sitemap.xml
Disallow: /?s=
Disallow: /search

#
# Permitimos el feed general para Google Blogsearch.
#
# Impedimos que permalink/feed/ sea indexado ya que el
# feed con los comentarios suele posicionarse en lugar de
# la entrada y desorienta a los usuarios.
#
# Lo mismo con URLs terminadas en /trackback/ que sólo
# sirven como Trackback URI (y son contenido duplicado).
#

Allow: /feed/$
Disallow: /feed
Disallow: /comments/feed
Disallow: /*/feed/$
Disallow: /*/feed/rss/$
Disallow: /*/trackback/$
Disallow: /*/*/feed/$
Disallow: /*/*/feed/rss/$
Disallow: /*/*/trackback/$
Disallow: /*/*/*/feed/$
Disallow: /*/*/*/feed/rss/$
Disallow: /*/*/*/trackback/$

Ejemplo para vbulletin

Un ejemplo para economizar ancho de banda, sería:

User-agent: *
Disallow: /forum/attachment.php
Disallow: /forum/avatar.php
Disallow: /forum/editpost.php
Disallow: /forum/member.php
Disallow: /forum/member2.php
Disallow: /forum/misc.php
Disallow: /forum/moderator.php
Disallow: /forum/newreply.php
Disallow: /forum/newthread.php
Disallow: /forum/online.php
Disallow: /forum/poll.php
Disallow: /forum/postings.php
Disallow: /forum/printthread.php
Disallow: /forum/private.php
Disallow: /forum/private2.php
Disallow: /forum/report.php
Disallow: /forum/search.php
Disallow: /forum/sendtofriend.php
Disallow: /forum/threadrate.php
Disallow: /forum/usercp.php
Disallow: /forum/admincp/
Disallow: /forum/modcp/
Disallow: /forum/images/
Disallow: /forum/sendmessage.php
Disallow: /forum/subscription.php

 

Si utilizás aplicaciones de SEO para vbulletin, también se recomienda indicar un disallow a showthread.php y a forumdisplay.php para evitar que indexe con esas direcciones y que tome las nuevas que asignas mediante el rewrite.

En el caso de que estés enviando tu sitemap periódicamente a los buscadores, muchos administradores se plantean la posibilidad de deshabilitar completamente el archives de vbulletin. Con ello se evitarían que se indexe contenido duplicado. Así que podrías indicar un disallow al /archives de tu foro también.

Recomiendo googlear por otros ejemplos si no tienen bien decidida la configuración. El ideal al principio es simplemente restringir las zonas mas delicadas, luego ir puliendo en detalle que otras secciones querés restringir.

Recordá que el bot solamente puede ver lo que ve un “usuario visitante”, asi que tus secciones privadas  siempre se mantendrán en ese status.

Dejar un comentario