Al parecer Google está ampliando tecnológicamente sus crawlers de forma que podrían estar testeando una nueva versión que leyera las páginas en HTTP/1.1.

Para muchos no hay gran diferencia… básicamente va a leer las páginas de igual forma, pero, aquellos a los que Google les genera mucho ancho de banda, están de suerte, porque, si tienen activado el sistema de compresión de páginas (GZip) podrían llegar a ahorrar hasta 5 veces el tráfico que ahora les está generando el buscador.

Podemos apreciear en estos logs las huellas que deja el buscador:

• 66.249.64.47 – - [15/Sep/2004:18:59:12 -0700] “GET /robots.txt HTTP/1.0″ 404 1227 “-” “Googlebot/2.1 (+http://www.google.com/bot.html)”
• 66.249.66.129 – - [15/Sep/2004:18:12:51 -0700] “GET / HTTP/1.1″ 200 38358 “-” “Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)”