Cuidado con el Robots.txt

$10.000 de pérdidas por un error en el Robots.txt es lo que le ha supuesto al webmaster de SeoBook. Parece ser que en su afán por eliminar el contenido duplicado para mejorar su PageRank interno y construir páginas más sólidas que obtengan más ganancias, cometió un error de una línea en su Robots.txt y las visitas se redujeron a la mitad en un principio.

Rápidamente corrigió el error, pero para entonces Google ya le había indexado cientos de páginas en su índice suplementario, con unas consecuencias devastadoras en sus ingresos.

Por eso, a la hora de modificar o crear un robots.txt, es mejor utilizar algunas herramientas de comprobación. Google dispone de una herramienta inmejorable en su Herramientas para Webmasters, donde puedes simular y ver qué URL de tu web están bloqueadas para GoogleBot.

Cada vez que hagas un cambio, comprueba cual es el comportamiento del Bot de Google, si ha bloquedado URL que no debe bloquear o al revés.