hoy OJO mira los buscadores … mañana los buscadores mirarán OJO
feed
contacto
noticias
guía seo
publicidad
21 de Febrero de 2008
Uno de los secretos de Google siempre ha sido el llamado MapReduce, su sistema de distribución de la información en miles de servidores distribuidos por el mundo.
Pues basándose en la documentación original, la Fundación Apache comenzó el proyecto Hadoop que tuvo gran apoyo por parte de Yahoo! y que ahora ha conseguido poner en marcha y en producción.
Los datos son muy interesantes:
- enlaces acumulados: 1 billón
- tamaño de la indexación: más de 300 TeraBytes comprimidos
- máquinas utilizadas: 10.000
- tamaño de disco: más de 5 PetaBytes
Como dato a destacar, me quedo con que este nuevo sistema tarda en procesar toda la información hasta 1/3 menos que las configuraciones que hasta ahora se utilizaban.
Si te interesa saber más sobre este asunto, Yahoo! ha preparado una video-entrevista con los responsables del proyecto:
Tags: Hadoop, posicionamiento en buscadores, seo, yahoo!, Yahoo! Developer
[...] 21/02/2008 - Yahoo! comienza a usar Hadoop [...]
[...] primera fase será para la investigación académica en la India, y que dará pie a conocer cómo funcionará a gran escala su instalación Apache Hadoop, que permitirá saber el funcionamiento de búsquedas en 14.400 procesadores, 28 TB de memoria, 140 [...]