Отправляет email-рассылки с помощью сервиса Sendsay
  Все выпуски  

Microsoft предложила в Azure свое решение HDInsight на базе Hadoop, которое работает в Linux


Вас категорически приветствует автоматически сгенерированная почтовая рассылка с новостями от nixp.ru!


20.02.2015 09:35

Microsoft предложила в Azure свое решение HDInsight на базе Hadoop, которое работает в Linux

Джозеф Сирош (Joseph Sirosh), корпоративный вице-президент Microsoft, объявил о выходе первого продукта этой компании для работы с большими данными, предназначенного для Linux, — Azure HDInsight.

HDInsight — решение Microsoft на базе Hadoop, полностью совместимое с Hadoop и работающее на облачной платформе Azure. Интересно, что новый сервис, предлагаемый на Azure по обычной схеме (с платой за используемые ресурсы), стал первым, который корпорация запустила на свободной операционной системе GNU/Linux. Вообще же Linux не новичок в мире Azure, т.к. около 20 % всех виртуальных машин, запущенных в облачной платформе Microsoft, работает под управлением свободной ОС.

Как сообщается на сайте Microsoft, HDInsight создали «для обработки любого объема информации с масштабированием от терабайтов до петабайтов данных по мере необходимости». Данные могут быть неструктурированными и полуструктурированными, а также предусмотрена возможность визуализации полученных результатов в Excel. Также в HDInsight обеспечена поддержка другой Open Source-платформы — Apache Storm, — предназначенной для распределенной обработки множества событий в реальном времени.

Для создания, настройки и мониторинга заданий Hadoop в HDInsight поддерживаются программные расширения на Java и .NET. Кроме того, в ходе разработки HDInsight возможности платформы Azure ML были дополнены поддержкой расширений на языках Python и R. По словам Сироша, ни один другой программный продукт на данный момент не предоставляет возможность использовать SQL, R и Python в одном проекте.

Комментарии к новости >>



20.02.2015 09:59

В ядре FreeBSD-CURRENT обнаружен баг генератора случайных чисел

Согласно сообщению от Джона-Марка Гёрни (John-Mark Gurney), опубликованному в рассылке freebsd-current в минувший вторник, ядро FreeBSD-CURRENT использовало неправильный алгоритм генерации случайных чисел на протяжении последних четырех месяцев.

Проблема относится только к ветке FreeBSD-CURRENT и не затрагивает стабильные версии FreeBSD. Всем, кто использует FreeBSD на ядре с номером ревизии от r273872 до r278907, рекомендуется немедленно обновить ядро и заново сгенерировать ключи (SSH, GnuPG, OpenSSL и т.п.). Проблема заключалась в том, что новый код не делал вызов функции randomdev_init_reader, из-за чего read_random(9) не возвращала случайные данные.

На данный момент проблема устранена, подробности внесенных изменений доступны на GitHub.

Комментарии к новости >>



20.02.2015 10:12

Google открыла код фреймворка для обработки больших данных — MapReduce for C (MR4C)

В минувшую среду было объявлено об открытии кода Google MR4C (MapReduce for C) — фреймворка, позволяющего заданиям Hadoop использовать библиотеки, написанные на C/C++.

MR4C изначально был разработан в рамках проекта Skybox Imaging для обработки больших объемов геодезических данных и спутниковых снимков на кластерах под управлением Hadoop. Необходимость разработки была связана с желанием программистов использовать стандартные библиотеки для работы с изображениями, написанные на C и C++.

Hadoop, как известно, написан на Java, а выбор C++ для разработки Google MapReduce и QFS (Quantcast File System — аналог Hadoop Distributed File System, разработанный в Google) был продиктован именно соображениями производительности. По той же причине БД MemSQL для выполнения SQL-запросов осуществляет генерацию кода в C++.

Исходный код фреймворка MR4C распространяется на условиях свободной лицензии Apache License v2 и доступен на GitHub.

Комментарии к новости >>



20.02.2015 10:45

Cloudera стала платиновым спонсором Apache Software Foundation

В минувший вторник некоммерческая организация Apache Software Foundation (ASF), обеспечивающая поддержку многим Open Source-проектам, объявила о том, что американская компания Cloudera стала её платиновым спонсором.

Cloudera, специализирующаяся на программном обеспечении для Hadoop, оказывала финансовую поддержку ASF и раньше, но теперь решила повысить уровень своего спонсорства до максимального — платинового (Platinum, 100 тысяч USD в год). «Мы благодарны продолжающейся щедрой помощи Cloudera, которая позволяет нам развивать сообщество Apache в целом. Финансовая помощь позволяет нам обслуживать критически важную инфраструктуру и предоставлять услуги по технической поддержке, что позволяет Фонду функционировать день за днём», — прокомментировал событие президент ASF Росс Гардлер (Ross Gardler).

Сотрудники компании Cloudera известны своим активным вкладом в такие проекты Apache, как Avro, Hadoop, HBase, Hive, Pig, Whirr и Zookeeper.

Комментарии к новости >>




Не забудьте, что мы всегда рады вашим комментариям к новостям непосредственно на nixp.ru!


Другие способы получения новостей от nixp.ru:



В избранное