Google ha mejorado la herramienta de análisis robots.txt de Webmaster Central, que reconoce declaraciones de Sitemap y URLs relacionadas. Las anteriores versiones no estaban disponibles para Sitemaps y en absoluto comprendían URLs.

Además, ya se puede probar las ULRs relacionadas tecleando mucho menos. Los informes de resultados que recibe el cliente han sido mejorados también. Las anteriores versiones sólo informaban del primer problema encontrado, mientras que la actual da un informe de los múltiples problemas que se pueden haber encontrado. Asimismo, han mejorado otros mecanismos generales de análisis y validación.

Otra novedad de Google en este campo, es la versión beta del META-tag unavailable_after, anunciado por Dan Crow, hace unas semanas, que permite al webmaster tener una relación más fluida entre su sitio y el Googlebot. Y también la nueva directiva X-Robots-Tag, que añade Robots Exclusion Protocol (REP) META-tag, un apoyo para páginas que no contienen HTML y con el cual se puede tener el mismo control sobre hojas de cálculo, vídeos y otros tipos de archivos indexados.

Si hasta ahora nos encontrábamos sólo con la posibilidad de avisar la caducidad de una página a través del ya mencionado meta-tag, ahora será posible también hacerlo en las cabeceras HTTP de la siguiente manera (que puede ir bien para ficheros como hojas de cálculos, PDFs, etc…):

X-Robots-Tag: unavailable_after: 31 Dec 2007 23:59:59 EST