Interesante explicación, bastante bien detallada, del funcionamiento de los ficheros robots.txt por parte de Google Sitemaps.

Básicamente se explica las novedades del sistema en el que se estudian los subdirectorios y el acceso a determinadas zonas del dominio, sugerencias de nuevos ficheros…