Apache Software Foundation и разработчики Samsung Electronics в прошедший четверг объявили, что движок для высокопроизводительных BSP-вычислений Apache Hama теперь поддерживает не только Apache Mesos, но и YARN.
Модель параллельных вычислений BSP (Bulk Synchronous Parallel), применяемая в Apache Hama, была разработана в конце 1980х гг. в Гарвардском университете известным математиком Лесли Вэлиантом (Leslie Valiant). Apache Hama может использоваться как основа для ресурсоемких научных BSP-приложений, приложений для построения графиков (наподобие Google Pregel), а также ПО для машинного обучения.
YARN — технология управления ресурсами, позволяющая сразу нескольким фреймворкам для работы с большими данными (например, MapReduce, Spark и Apache Hama) одновременно работать с одним набором данных на одном и том же кластере под управлением Hadoop. В новом релизе Hama поддержка YARN позволяет запускать научные BSP-приложения на кластерах Hadoop без какого-либо процесса установки.
Eclipse Foundation в рамках своей программы Eclipse IoT объявила о запуске двух новых Open Source-проектов: Eclipse Paho 1.1 и Eclipse Mosquitto 1.4.
Оба этих проекта основаны на стандарте OASIS MQTT (Message Queue Telemetry Transport). MQTT — нетребовательный к ресурсам протокол обмена сообщениями, хорошо подходящий для подключения небольших устройств к интернету. Eclipse Paho — реализация этого протокола со стороны клиента, а Eclipse Mosquitto — легковесный сервер для MQTT, написанный на языке C.
Как Paho, так и Mosquitto разработаны сообществом Eclipse IoT, работающем над развитием концепции «интернета вещей» (Internet of Things, IoT) в рамках модели Open Source. На данный момент на счету сообщества 15 различных проектов с открытым кодом, реализующих популярные IoT-стандарты.
Популярная онлайн-площадка для краткосрочной аренды жилья Airbnb представляет свою новую разработку Airpal — инструмент для анализа данных, основанный на движке Presto SQL от Facebook.
До этого в Airbnb использовалась система управления данными Apache Hive, работающая на платформе Hadoop и довольно сложная в плане использования конечным пользователем. Новый же инструмент имеет графический интерфейс, позволяющий составлять SQL-запросы к базам данных без особых усилий. В его основе лежит PrestoDB — Open Source-проект Facebook, запущенный пару лет тому назад с целью решить проблему с недостаточно высокой производительностью Hive.
Исходный код Airpal доступен на GitHub под свободной лицензией Apache. По мнению издания Gigaom, появление подобных проектов отражает общий тренд на разработки в области управления большими данными, аналогичные используемыми Facebook.