Отправляет email-рассылки с помощью сервиса Sendsay
  Все выпуски  

Серверы, сетевое оборудование, тесты, характеристики, советы Бюджетные петабайты: Как построить дешевое облачное хранилищ




Сумма Технологий - Серверные Системы

информационно-аналитический электронный журнал
stss.3dn.ru

Вторник, 22 сентября 2009 года (1949 год - СССР взрывает свою первую атомную бомбу)

Бюджетные петабайты: Как построить дешевое облачное хранилище

Мы в Backblaze предлагаем нашим клиентам неограниченное хранилище всего за $5 в месяц, поэтому нам пришлось выяснить, как хранить сотни петабайт клиентских данных надёжным масштабируемым образом, при этом сохраняя цены низкими. Посмотрев на несколько коммерческих решений с неоправданно высокими ценами, мы решили строить наши собственные нестандартные контейнеры хранилища Backblaze (Backblaze Storage Pods): 67-терабайтные 4U-серверы за $7867.

В этом постинге мы расскажем, как создать такой контейнер хранилища, и будем рады, если вы используете подобный дизайн сами. Мы надеемся, что от совместного использования этой идеи выиграют все: как вы, так и мы, поскольку вы можете усовершенствовать этот дизайн и прислать нам улучшения. Эволюция и снижение затрат являются критичными для продолжения успеха Backblaze.

Вот видео, показывающее 3-мерную модель контейнера хранилища Backblaze. Продолжайте читать, чтобы узнать о всех деталях дизайна.
Здесь можно загрузить полную 3-мерную модель контейнера хранилища Backblaze в формате EASM.

Backblaze нужно большое, надёжное, дешевое хранилище


Сказать, что Backblaze нуждается в большом хранилище, — ничего не сказать. Мы предоставляем услуги бэкапа, так что наш дэйтацентр содержит полную копию всех данных наших клиентов, плюс несколько версий изменяющихся файлов. Грубо говоря, каждый раз, когда один из наших клиентов покупает жесткий диск, Backblaze нужен ещё 1 жесткий диск. Уже давно мы перестали измерять хранилища в наших дэйтацентрах в гигабайтах или терабайтах и начали мерить в петабайтах.

Чтобы получить представление, как это выглядит, вот на фото я устанавливаю новые контейнеры в нашем дэйтацентре. Я работаю со стойкой, содержащей небольшой «штабель» из 6 контейнеров, содержащих в сумме почти полпетабайта данных.

Никто не продаёт дешёвые хранилища, поэтому мы спроектировали их сами


Прежде чем мы поняли, что нам придётся решать эту проблему с хранилищем самостоятельно, мы рассматривали Amazon S3, серверы Dell и Sun, файлеры NetApp, EMC SAN и т. д. По мере изучения этих традиционных «готовых решений», у нас пропадали все иллюзии о стоимости. Когда вы отбрасываете маркетинговые термины и красивые логотипы с любых решений по хранению данных, как ни крути, данные оказываются на обычном жестком диске. Но когда мы сравнивали цены различных коробочных решений, стоимость была в 10 и более раз выше «сырой» стоимости жестких дисков. Вот диаграмма, сравнивающая стоимость 1 петабайта от различных вендоров:

Стоимость хранилища на 1 петабайт от различных вендоров

Оценив затраты, мы решили создавать наши собственные контейнеры хранения Backblaze. У нас были 2 основные цели: сохранять затраты на низком уровне, используя накопители потребительского уровня и легкодоступные массовые комплектующие, и использовать электроэнергию и место в дэйтацентре настолько эффективно, насколько возможно, используя «зелёные» комплектующие и «втискивая» большое хранилище в небольшой корпус.

Результат — это стоечный сервер высотой 4U на Linux, содержащий 67 терабайт, себестоимостью $ 7867, львиная доля которых уходит на покупку самих жестких дисков. Это составляет всего ~0.3 цента за гигабайт в месяц на протяжении 3 лет. Даже включая дополнительные издержки, такие как электричество, трафик, аренду места и зарплату IT-администраторов, Backblaze тратит 1/10 от цены в сравнении с использованием Amazon S3, серверов Dell, файлеров NetApp или EMC SAN.

Из чего состоит контейнер хранения Backblaze


Контейнер хранения Backblaze является самодостаточным узлом, который делает хранилище доступным онлайн. Он представляет собой сделанный по спецзаказу металлический корпус с широко доступными бюджетными комплектующими внутри. Конкретнее, 1 контейнер включает 1 системную плату Intel c вставленными в нее 4-мя платами SATA. 9 SATA-кабелей отходят от плат к 9 панелям умножителей портов (port multiplier backplanes), в каждую из которых непосредственно вставлено 5 жестких дисков (всего 45 жестких дисков).

Список основных комплектующих контейнера хранения Backblaze

Выше вы видите развернутую диаграмму, а подробный список комплектующих вы можете увидеть в Приложении A. 2 главнейших фактора, которые необходимо упомянуть: стоимость жестких дисков является львиной долей стоимости всего контейнера, а остальная часть системы полностью построена на широко доступных бюджетных комплектующих.

Автор: AntonShcherbinin

Подробнее и другие статьи тут >>>


Последние публикации в разделе «Новости и обзоры»:

  • «Настоящий прорыв а области высокопроизводительных вычислений! Вычислительная мощность больших кластеров теперь доступна в настольном исполнении. Представляем первый персональный суперкомпьютер STSS Flagman WX240T.2»
    Приобретите собственный суперкомпьютер. Насладитесь вычислительной мощью на уровне настоящего кластера, почти в 250 раз быстрее обычного ПК или рабочей станции, в системе, размещенной прямо на вашем рабочем столе. Персональный суперкомпьютер NVIDIA® Tesla™ оснащен 960 параллельными процессорными ядрами и 16 ГБ специальной вычислительной памяти для работы с большими объемами данных. Используя персональный компьютер Tesla, основанный на революционной архитектуре параллельных вычислений NVIDIA® CUDA™, вы управляете почти 4 терафлопами вычислительной мощи собственными руками...
  • «AMD выпускает серию чипсетов SR5600 для серверного сегмента»
    Компания AMD объявила о выпуске серии наборов системной логики SR5600, которые стали частью новой платформы, ранее известной под кодовым именем Fiorano. Ранее AMD заявляла, что нацелена только на серверный сегмент и не намерена конкурировать с Intel в сегменте рабочих станций. Таким образом, можно считать, что новая серия чипсетов — первое серверное решение AMD...
  • «AMD подтвердила срок выхода двенадцатиядерных CPU Magny-Cours и представила серверную платформу»
    Компания AMD представила серверную платформу, в состав которой входит три ключевых компонента: шестиядерный процессор, набор системной логики и GPU. По словам разработчика, платформа характеризуется высокой производительностью, обусловленной преимуществом применения унифицированной технологии процессора и чипсета, и повышенной энергетической эффективностью. Одновременно была представлена спецификация продукта под кодовым названием Kroner...
  • «Мониторинг серверов: Alchemy Eye v.10.3.0»
    Выпущена новая версия программы для сетевых администраторов — Alchemy Eye, которая производит мониторинг доступности серверов, сетевых устройств, компьютеров и других компонент в глобальной или локальной сетях. С указанным промежутком времени Alchemy Eye обращается с запросом к серверу и, если он не отвечает, отсылает соответствующее уведомление вам, а также записывает всю информацию в лог-файлы. Утилита проста в использовании, умеет работать практически со всеми видами серверов...
  • «Почтовые клиенты и фильтры: Mail PassView v.1.52»
    Mail PassView - крошечная бесплатная утилитка, отображающая детали аккаунтов для следующих почтовых приложений: Outlook Express, Microsoft Outlook 2000 (только POP3 и SMTP), Microsoft Outlook 2002 (POP3, IMAP, HTTP и SMTP), IncrediMail, Eudora и Group Mail Free. Для каждой учетной записи выводятся имя аккаунта, приложение, почтовый адрес, сервер, тип используемого сервера, имя пользователя и пароль. Программа не требует установки...

Обзор полезного программного обеспечения с возможностью скачать:

  • AtlasMonitor for Microsoft ISA Server
    Atlas Monitor для MS ISA Server с помощью встроенного web-сервера предоставляет доступ к детальным отчетам по трафику пользователей, сайтов, по датам и т.д. Информация в отчетах обновляется в режиме реального времени. Правила доступа к отчетам. Исключения. Поддержка MS ISA Server 2000, 2004, 2006...
  • ICQ-автоинформатор, 1.0
    АвтоИнформатор — это программа, которая по заданной вами схеме общается с клиентами. АвтоИнформатор может менять своё поведение в зависимости от сообщений клиента. При запуске АвтоИнформатора указывается его ICQ-номер. Клиенты общаются с АвтоИнформатором с помощью программы ICQ или её аналогов...
  • professional Look at Net, 2.1.9
    professional Look at Net — это портабельная утилита мониторинга сети для Microsoft Windows 2000/XP/2003/Vista — сканер сети, сканер портов и пакетный сниффер. Программа предназначена для обучения основам компьютерных сетей на самом низком уровне — на уровне Ethernet фреймов и IP (Internet Protocol) пакетов — путём перехвата сетевого траффика, декодирования инкапсулированных в IP протоколов более высокого уровня — TCP, UDP, ICMP...
  • LanAgent Standard, Обновление 2.8
    LanAgent Standard — программа для наблюдения за компьютерами служащих в локальной сети. Осуществляет мониторинг активности на любом компьютере, подключенном к сети вашей организации. Программа позволит выявить деятельность, не имеющую отношения к работе, покажет, насколько рационально ваши сотрудники используют рабочее время...
  • LanAgent Standard, 2.8
    LanAgent Standard — программа для наблюдения за компьютерами служащих в локальной сети. Осуществляет мониторинг активности на любом компьютере, подключенном к сети вашей организации. Программа позволит выявить деятельность, не имеющую отношения к работе, покажет, насколько рационально ваши сотрудники используют рабочее время...

Новые темы форума для обсуждения

Серверы
  Форум Темы Ответы Обновления
Серверы и серверное оборудование
Создание самой удобной конфигурации. Любой желающий может помочь тому, кто еще только начинает работать с серверами
4 8 Суббота, 04.07.2009, 19:41
Тема: Сервер Dell PE2900 Two, за ч...
Сообщение от: HectFoetkeelf

О компьютерах и серверах
  Форум Темы Ответы Обновления
WINDOWS 98, 2000, ХP, 2003, Vista и даже 95....
Винда, от 9x до 2003 и XP, Vista... Администрирование, программирование и т.п.
7 50 Вторник, 26.05.2009, 21:06
Тема: Подключение сети предприятия...
Сообщение от: Buddha

1C
  Форум Темы Ответы Обновления
1C и электронная коммерция 1 0 Пятница, 29.05.2009, 18:17
Тема: Бухгалтерия предприятия
Сообщение от: NightBeast


Вопросы обо всем
  Форум Темы Ответы Обновления
Околокомпьютерный флейм
Общение о компьютерах, серверах, других железках, если вдруг не нашли ответов и просто о компьютерах в нашей жизни. Можете рекламировать свои творения тут, в других разделах реклама будет удаляться...
3 0 Пятница, 04.09.2009, 10:55
Тема: Обучающая информация по защи...
Сообщение от: elenoza
Анекдоты
Анекдоты и веселые истории на компьютерную и другие тематики
1 55 Понедельник, 25.05.2009, 11:06
Тема: Анекдоты
Сообщение от: Daniel

Последние публикации из рубрики «Полезные советы по работе с компьютером»:

Локальные сети

Управление общедоступными (shared) каталогами на удалённой машине в Windows NT 4.0.

Есть несколько очень простых способов делать это (пример — создание shared folder):

1. Запустите Server Manager. Щёлкните мышью на имени нужного компьютера. Computer –> Shared Directories –> New Share...

2. Можно использовать утилиту RMTSHARE из Resource Kit.

3. Ещё один способ — через File Manager (Winfile.exe — наследство предыдущих версий Windows NT). Сначала подключаемся к тому дисководу на удалённой машине, где лежит нужная папка (например, net use x: \\<remote computer name>\C$). Затем запускаем File Manager –> Х: –> Disk –> Share As.

Александр Зорич

Другие публикации и советы тут >>>


Отдохни (анекдоты, забавные истории):

Стоит Гаишник на посту, видит едет машина задним ходом. Тормозит:
- в чём дело?
Водитель:
- Понимаешь, еду к тёще, а у неё негде развернутся.
Ну ладно езжайте. Через некоторое время эта же машина и опять задним ходом:
- В чём дело?
- А, понимаешь, развернулся!

*****

Встретились две подруги. Ода другой:
- Мой муж так пьёт, я прям не знаю, что с ним делать!
- А мой уже давно не пьёт!
- Что ты с ним сделала? Расскажи!
- Слушай. Когда он напьётся и ляжет спать, возьми змею и засунь ему в трусы. Утром, когда он пойдет в туалет и увидит змею в трусах подумает что белая горячка. И бросит пить!
- Хорошо, я так и сделаю.
На следующий день она так и сделала.
Встает мужик, идет в туалет, достает змею из трусов, а она ему:
- Ш-ш-ш-ш-ш...
А мужик:
- Я те да...

*****

Муж пришел домой пьяный, жена нашла в кармане презерватив и засунула ему в задницу.
Утром спрашивает:
- Ну как погулял с друзьями?
- Погулял хорошо, а друзей у меня больше нет.

Другие анекдоты тут >>>

Внимание! Если хотите, чтобы мы посвятили рассылку Вам или вашему сайту, то пишите на почту: altvix@mail.ru


Вы можете добавить свою новость, статью или программу по адресу (необходимо зарегистрироваться): stss.3dn.ru
По вопросам размещения Ваших статей и информации в наших рассылках - пишите нам: altvix@mail.ru

Давайте поможем восстановлению Храма и детям! Информация здесь >>>
Рассылки Subscribe.Ru
Освещение для интерьеров и парков
Техника для создания любимой погоды в доме, от кондиционера до тепловой пушки
Автономные электростанции для загородного дома и все, что можно к ним подключить
Техника в помощь садоводу и фермеру
Все о насосах для любых водоемов и водонагревателях
Моечная и уборочная техника для быта и производства
Рукопашный бой для девушек -- выживание, психология!
Серверы, сетевое оборудование, тесты, характеристики, советы
Милосердие. Чем ты можешь помочь ближнему.
Православные знакомства
Агробизнес и советы садоводам
Здоровый образ жизни
Фотосъемка природы и людей на природе и в интерьере
Рецепты кухни народов СССР
Скидки, подарки, призы...
Секреты рекламы и создания интернет-магазинов
1С и электронная коммерция

В избранное