El robot de búsqueda de Microsoft, MSNBot, ha mejorado alguna de sus funcionalidades sobretodo en lo que respecta a la no-saturación de los servidores haciendo caso a la cabecera Crawl-delay que ayuda a definir el tiempo que ha de pasar entre la indexación de una y otra página.

En este caso, el robot va a seguir la directiva en el fichero robots.txt:

• Crawl-delay: 5
  Espera 5 segundos entre página y página (lento)
• Crawl-delay: 10
  Espera 10 segundos entre una y otra (muy lento)

• MSN nombra sus robots de búsqueda
• Lista oficial de robots de Live
• MSNBot se adapta a la indexación
• Velocidad de rastreo en Google Sitemaps
• Google puntua el SPAM

1. Nombre ha dicho el 23 de Abril de 2008

   Hay alguna manera para permitir que te rastreen google y yahoo pero no MSN???