hoy OJO mira los buscadores … mañana los buscadores mirarán OJO
feed
contacto
noticias
guía seo
18 de Agosto de 2007
Desde hace unos días los blogs alojados en Blogger ya tienen su propio robots.txt.
Por ejemplo podemos ver el del blog oficial de Google:
User-agent: *
Disallow: /search
Sitemap: http://googleblog.blogspot.com/feeds/posts/default?orderby=updated
Básicamente el fichero incluye la eliminación del buscador (y por ende, los resultados de búsqueda) y de la dirección URL del Sitemap, que también está disponible desde hace un tiempo.
y como modifico el archivo robots.txt si el mio es un blog en blogger y no aparece alguna característica para modificarlo. Quiero que el robot de google acceda al search