Yahoo! decidió ponerse en manos de Doug Cutting (creador de la fuente abierta Nutch y el proyecto Lucene), para trabajar en el proyecto de Hadoop, que es un sistema de ficheros distribuidos, y así ayudar a desarrollar la infraestructura de software necesaria.
Este trabajo comenzó en marzo de 2006, y fue creciendo paulatinamente, así como las contribuciones de código de Yahoo! a Hadoop. El buscador espera proporcionar un sistema sólido, eficiente, y escalable que cualquiera pueda utilizar para solucionar cualquier tipo de problemas y los juegos de datos que se hacen más comunes sobre el web. Y como se usa una fuente abierta, desarrolladores y usuarios de todo el mundo podrán contribuir a mejorar el servicio. Yahoo! ya ha empleado y apoyado a otros proyectos como Apache, PHP, y MySQL.
Doug y Eric Baldeschwiele (director de Grid Computing de Yahoo!) están presentando Meet Hadoop en la 2007 Open Source Convention, siendo esta una de las primeras veces que hablan de su colaboración en público. Según el buscador, no es difícil de imaginarse un tiempo cuando Hadoop y la infraestructura Hadoop-impulsada sean tan comunes como el LAMP (Linux, el Apache, MySQL, Perl/PHP/Python) el grupo que ayudó a impulsar el crecimiento anterior del Web. Ya hay universidades que han comenzado a dar clases sobre Hadoop (la Universidad de Washington).
[...] Ayer hablábamos de Hadoop y hoy se publica un artículo en el que se explica como funciona Youtube, un servicio de vídeos que no ha parado de crecer, con más de 100 millones de vídeos nuevos al día. Y la mayoría del trabajo lo hacen los usuarios colgando sus vídeos. [...]