Según cuentan en el blog oficial de Google Webmaster Central, se ha mejorado la herramienta de análisis del robot.txt y recuerda que ya está disponible la etiqueta unavailable_after META.

La herramienta de análisis del Robot.txt ahora reconoce declaraciones sitemap y URL relacionadas. Esto significa que ahora se pueden comprobar las URL que quieras del robot.txt y su profundidad.