Y la respuesta es tan simple porque existe un sistema que permite que no se indexe un dominio / página web, y existe otra manera que impide que se cacheen las páginas, pero no impide su indexación.

Así al menos lo ha creido un juez en Estados Unidos después de que denunciase a Google por su sistema de caché.