SummArg | Cursos y recursos para webmasters

Bloquear a los crawlers de paises que no le convienen a un website

Los robots de buscadores no siempre son beneficiosos, hay casos que pueden llegar a ser catastróficos para los recursos de un website que no disponga de recursos generosos. Por ejemplo, desde hace algún tiempo ya comenzamos a experimentar en SummArg una invasión de spiders de Baidu, el buscador chino. Si pensamos que SummArg tiene contenidos en español y que en el corto-mediano plazo no tenemos ninguna intención de empezar a redactar contenidos pensando en el mercado asiático, entonces los crawlers de Baidu no hacen mas que estorbar y consumir recursos en vano.

Lo mismo corre para buscadores como Goo (Japón), SoGou (China), Yandex (Ru), etc. Para bloquearlos bastará con crear un archivo robots.txt, que subiremos a la raíz de nuestro sitio, con el siguiente contenido:

User-agent: Yandex
Disallow: /
User-agent: moget
User-agent: ichiro
Disallow: /
User-agent: NaverBot
User-agent: Yeti
Disallow: /
User-agent: Baiduspider
User-agent: Baiduspider-video
User-agent: Baiduspider-image
Disallow: /
User-agent: sogou spider
Disallow: /
User-agent: YoudaoBot
Disallow: /

¿Qué otro crawler añadirían al listado?

Dejar un comentario