Yahoo и Hadoop

С интересом обнаружил для себя блог Yahoo! Hadoop, оказывается на сегодняшний день у них самый большой Hadoop кластер из имеющихся.

• 10 тысяч процессоров;
• 300 терабайт сжатых данных
• 5 петабайт данных всего

Судя по тому что они пишут про использование данных собранных в Hadoop для поисковых запросов, не удивлюсь что они постепенно заменяют (или уже заменили?) им своего робота.

Кстати, некоторое понимание по Hadoop и культуре разработке Yahoo! можно вынести из видео с двумя индусами из команды Yahoo! Webmap. Английский у них отвратителен, но понимабелен.Единственно жаль что, скорее всего, эта затея будет похоронена в случае поглощения Yahoo! со стороны Microsoft.

Рекомендую также интересные обзоры Ивана Блинкова «Hadoop для разработчика» и «Hadoop«.