En los foros de Search Engine Watch me he encontrado un plugin para Firefox muy interesante. La idea es que nuestro User-Agent sea el mismo que Googlebot.
Podemos seguir los pasos de SEW para instalarlo:
Ahora no hay más que navegar. ¿Qué utilidad tiene? Hay páginas que para posicionarse utilizan cloaking.
El cloaking es devolver una página diferente a los robots de los busadores de la que le devuelves a los usuarios. Se hace con una simple condición a nivel de servidor. Si la condición se realiza en función de un rango de IPs del buscador este método falla (no se nos mostrará la misma página que a Google), pero si se realiza en función del User Agent ahora podemos utilizar este truco para saber que webs utilizan este tipo de cloaking.
El cloaking suele utilizar páginas con mucho texto para que sean más valoradas por los buscadores, páginas que a los usuarios no les resultarían atractivas, frente a las páginas que se le devuelven a los usuarios que no serían bien valoradas por los buscadores.
No voy a dar ejemplos para no delatar a nadie, pero muchos primeros resultados en buscadores utilizan esta técnica.
Un ejemplo curioso de cloaking: Nedstat.
http://www.nedstatbasic.net/s?tab=1&link=4&id=2765484
Dos resultados diferentes en función de si somos Googlebot o no.
Tags: googlemania