John Mueller recuerda en su g+ que Google tiene un limite de 500KB para procesar archivos robots.txt.
Por lo tanto es importante, además de tener una buena configuración del robots.txt, asegurarnos de que no sobrepasa los 500kb de peso ya que entonces GoogleBot dejaría de rastrear, o incluso podría confundirse y causar serios problemas en la salud de la web.
#102 de las cosas a tener en cuenta cuando se trabaja en un gran sitio web: Si tienes un archivo robots.txt gigante, recuerda que Googlebot sólo leerá los primeros 500kb. Si el archivo robots.txt es más largo, puede resultar en una línea que se trunca de manera no deseada. La solución más sencilla es limitar los archivos robots.txt a un tamaño razonable :-).
Más información de google sobre el robots.txt. De todas formas, un robots.txt de ese tamaño solo puede significar que tu web es un desastre o que es enorme, con millones de páginas útiles.
May 5th, 2012 at 6:25 pm
[...] más: http://www.adseok.com/tips-seo/el-robots-txt-no-debe-superar-los-500kb/#ixzz1u16lNe6F Share this:TwitterFacebookMe gusta:Me gustaSé el primero en decir que te gusta esta post. [...]