Uno de los secretos de Google siempre ha sido el llamado MapReduce, su sistema de distribución de la información en miles de servidores distribuidos por el mundo.
Pues basándose en la documentación original, la Fundación Apache comenzó el proyecto Hadoop que tuvo gran apoyo por parte de Yahoo! y que ahora ha conseguido poner en marcha y en producción.
Los datos son muy interesantes:
Como dato a destacar, me quedo con que este nuevo sistema tarda en procesar toda la información hasta 1/3 menos que las configuraciones que hasta ahora se utilizaban.
Si te interesa saber más sobre este asunto, Yahoo! ha preparado una video-entrevista con los responsables del proyecto:
[...] 21/02/2008 – Yahoo! comienza a usar Hadoop [...]
[...] primera fase será para la investigación académica en la India, y que dará pie a conocer cómo funcionará a gran escala su instalación Apache Hadoop, que permitirá saber el funcionamiento de búsquedas en 14.400 procesadores, 28 TB de memoria, 140 [...]