FastNetMon

Показаны сообщения с ярлыком Hadoop. Показать все сообщения
Показаны сообщения с ярлыком Hadoop. Показать все сообщения

понедельник, 11 октября 2010 г.

Что такое Hadoop?

Всегда думал, что это некий децентрализованный сторадж. Оказалось, нет - это целый комплект утилит и технологий (децентрализованная файловая система, распределенное ключ-ориентированное хранилище, реализация mapreduce, софт по контролю за распределенным инсталляциями и многое другое) для high load / high performance систем: http://hadoop.apache.org/#What+Is+Hadoop%3F

четверг, 22 октября 2009 г.

Железная платформа Last.fm



For those of you who think it can't be so hard to run this site, here are a few facts for you:

18 web nodes - newest ones are Dual-CPU dualcore Opteron 4GB RAM 1U.
12 profile database servers (soon to be Hadoop nodes) - 12-disk SCSI 8GB RAM dual Opteron 3U.
2 global database servers - 12-disk SCSI 16GB RAM dual Opteron 3U.
5 storage nodes - 12 SATA disks, 3TB each.
Plus another 20 or so general-purpose boxes for indexing, searching, charts, etc.

We have 5 racks' worth of equipment spread across 2 datacenters in east London. All in all about 140 CPU cores and 230GB of RAM.

Average bandwidth usage: 300 Megabits (10 megabits of that is solely HTML).
Total power supply: 24kW (102 amps), which probably costs us about £100/day.



потырено с: http://www.lastfm.ru/user/Russ/journal