facebook
twitter
feed

Qué comentan tus amigos

OJO
artículo de publicado el 21 de febrero de 2008...

Uno de los secretos de Google siempre ha sido el llamado MapReduce, su sistema de distribución de la información en miles de servidores distribuidos por el mundo.

Pues basándose en la documentación original, la Fundación Apache comenzó el proyecto Hadoop que tuvo gran apoyo por parte de Yahoo! y que ahora ha conseguido poner en marcha y en producción.

Los datos son muy interesantes:

  • enlaces acumulados: 1 billón
  • tamaño de la indexación: más de 300 TeraBytes comprimidos
  • máquinas utilizadas: 10.000
  • tamaño de disco: más de 5 PetaBytes

Como dato a destacar, me quedo con que este nuevo sistema tarda en procesar toda la información hasta 1/3 menos que las configuraciones que hasta ahora se utilizaban.

Si te interesa saber más sobre este asunto, Yahoo! ha preparado una video-entrevista con los responsables del proyecto:

  1. el 26 de febrero de 2008, Recopilación de artículos sobre posicionamiento web (SEO) « Camyna.com ha dicho...

    [...] 21/02/2008 – Yahoo! comienza a usar Hadoop [...]

  2. el 26 de marzo de 2008, Cloud Computing Research por Yahoo! ha dicho...

    [...] primera fase será para la investigación académica en la India, y que dará pie a conocer cómo funcionará a gran escala su instalación Apache Hadoop, que permitirá saber el funcionamiento de búsquedas en 14.400 procesadores, 28 TB de memoria, 140 [...]

Rellena el formulario para poder comentar...

XHTML permitido:
<a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <strike> <strong>