Ежегодно хранилище Facebook разрастается на 180 петабайт

По информации инженерной команды Facebook, каждые сутки хранилище данных мировой социальной сети разрастается на пол-терабайта. Об этом сообщается в публикации Facebook Engineering Team исходных кодов ПО сервиса. Стоит отметить, что в данных социальной сети постоянно хранятся большие очереди данных, массивы нерегламентированных запросов, данные MapReduce для кластерного поиска и множество других «сырых» данных, которые обеспечивают быстрое функционирование хранилища. В Facebook намерены создать кастомизированную Hadoop-подобную платформу Corona, чтобы существенно расширить базовый функционал работы с данными. Специалисты говорят, что достигнут результата за счет огромного разрастания архивов информации.

Представители компании рассказали, что изначально использовали технологию MapReduce как основу для инфраструктуры, которая достаточно успешно работала несколько лет. Однако разработчики Facebook уже в начале 2011-го поняли, что достигли предела данной технологии, а сама система начала работать медленно. Платформа Corona напоминает по своей организации Hadoop, но имеет несколько дополнительных слоев для большей масштабируемости. В новой системе реализован кластер-менеджер, который отслеживает другие узлы, а также следит за их нагрузкой. Здесь есть выделенный трекер процессов, управляющий выделением для небольших и больших заданий. А самре главное отличие Corona от Hadoop — задания здесь идут к узлам, а не от них.

Для многих сегодня фэн шуй стал неотъемлемой частью жизни. Перейдя по ссылке вы найдете интересные статьи, обучение и консультации фэн шуй от профессионалов. Здесь вы также получите консультацию на любой вопрос по фэн шуй.