El robot de búsqueda de Microsoft, MSNBot, ha mejorado alguna de sus funcionalidades sobretodo en lo que respecta a la no-saturación de los servidores haciendo caso a la cabecera Crawl-delay que ayuda a definir el tiempo que ha de pasar entre la indexación de una y otra página.

En este caso, el robot va a seguir la directiva en el fichero robots.txt:

• Crawl-delay: 5
  Espera 5 segundos entre página y página (lento)
• Crawl-delay: 10
  Espera 10 segundos entre una y otra (muy lento)