Yahoo! Research ha llegado a un acuerdo con Computational Research Laboratories (CRL) para colaborar en la creación de una red computacional que incluirá los 5 superordenadores más potentes del mundo.

La primera fase será para la investigación académica en la India, y que dará pie a conocer cómo funcionará a gran escala su instalación Apache Hadoop, que permitirá saber el funcionamiento de búsquedas en 14.400 procesadores, 28 TB de memoria, 140 TB de disco, y un pico de 180 teraflops de cálculo.

We have made our leadership in supporting academic, cloud computing research very concrete by sharing a 4,000-processor supercomputer with computer scientists at Carnegie Mellon University for the last three months. With this supercomputing cluster, researchers were able to analyze hundreds of millions of Web documents and handle two orders of magnitude more data than they previous could.

Uno de los secretos de Google siempre ha sido el llamado MapReduce, su sistema de distribución de la información en miles de servidores distribuidos por el mundo.

Pues basándose en la documentación original, la Fundación Apache comenzó el proyecto Hadoop que tuvo gran apoyo por parte de Yahoo! y que ahora ha conseguido poner en marcha y en producción.

Los datos son muy interesantes:

• enlaces acumulados: 1 billón
• tamaño de la indexación: más de 300 TeraBytes comprimidos
• máquinas utilizadas: 10.000
• tamaño de disco: más de 5 PetaBytes

Como dato a destacar, me quedo con que este nuevo sistema tarda en procesar toda la información hasta 1/3 menos que las configuraciones que hasta ahora se utilizaban.

Si te interesa saber más sobre este asunto, Yahoo! ha preparado una video-entrevista con los responsables del proyecto: