Google ha lanzado un artículo en el que hace un resumen de las directivas de los ficheros robots.txt además de algunas explicaciones sobre los posibles filtros a través de los meta-tags.

Entre algunos de los elementos están:

robots.txt

• Disallow
• Allow
• $
• *
• Sitemaps

Meta-tags

• NOINDEX
• NOFOLLOW
• NOSNIPPET
• NOARCHIVE
• NOODP

Otros de Google

• UNAVAILABLE_AFTER
• NOIMAGEINDEX
• NOTRANSLATE

Otros de Microsoft

• Crawl-Delay

Otros de Yahoo!

• Crawl-Delay
• NOYDIR
• Robots-nocontent

ACTUALIZACIÓN: Esta actualización de las directivas viene por un acuerdo entre “los grandes” como han hecho todos.