Интернет-компания Yahoo! опубликовала исходный код Gryffin — «платформы для крупномасштабного сканирования веб-страниц на предмет безопасности».
Gryffin имеет встроенный механизм для обхода всех страниц веб-сайта (crawler), который сам идентифицирует страницы-дубликаты (одинаковый контент по разным ссылкам) и применяет PhantomJS для полноценной обработки всех ссылок (с участием кода на JavaScript). Gryffin не имеет своих модулей для проверки конкретных уязвимостей и позиционируется как платформа для сканирования, предоставляя возможность использовать для этих целей сторонние (уже существующие) компоненты (fuzzers), в том числе и распространяемые под свободными лицензиями.
Важной особенностью Gryffin является изначальная ориентированность на большие масштабы — сканирование множества страниц. Платформа построена по модели издатель-подписчик, что обеспечивает горизонтальное масштабирование простым добавлением большего количества узлов издателей или подписчиков.
Код платформы Gryffin написан на языке программирования Go. Для демонстрационных целей система интегрирована с sqlmap (для поиска уязвимостей типа SQL injection) и arachni (для обнаружения межсайтового скриптинга XSS и других уязвимостей в веб). Кроме того, в продукте используется NSQ для очередей сообщений, а также Kibana и Elasticsearch для интерфейса. Исходный код распространяется на условиях свободной BSD-подобной лицензии и доступен на GitHub.
Компания Dropbox продолжает радовать Open Source-энтузиастов своими проектами, созданными в рамках инициативы Hack Week. На этот раз представлено открытие кода группового чата Zulip.
Zulip — веб-приложение для онлайн-общения, специально ориентированное на разработчиков программного обеспечение. Продукт был приобретен Dropbox в прошлом году. Решение предлагает групповые обсуждения (в обычных и приватных группах/каналах) и личные сообщения, список онлайн-пользователей, поддерживает темы дискуссий, развитую систему уведомлений (десктоп-уведомления, важные сообщения по электронной почте, упоминания людей и групп через @all, @user и т.п.), смайлики (emoji), inline-вставку мультимедийного контента (картинки, видео) и загрузку файлов, сохраняет всю историю сообщений с полнотекстовым поиском — в общем, функциональные возможности Zulip близки к популярным платным сервисам вроде Slack.
Не менее важно, что у Zulip предусмотрены интеграции со сторонними сервисами (Trac, Nagios, Github, Jenkins и т.п.), есть простой RESTful API и привязки к Python, есть мобильные (iOS, Android) и настольные приложения.
Исходный код серверной части чата Zulip написан на языке Python с использование фреймворка Django, опубликован на GitHub под свободной лицензией Apache License 2.0. Клиент Zulip для Linux-десктопов написан на C++ с использованием Qt и опубликован на GitHub под такой же лицензией. Сайт проекта — zulip.org.
P.S. Ранее Dropbox опубликовала исходный код проектов: zxcvbn (утилита для оценки надёжности пароля), Djinni (библиотека для генерирования единых определений типов и интерфейсных привязок для разных языков включая C++, Java, Objective-C и Python), Hackpad (вики реального времени с веб-интерфейсом на базе EtherPad), Pyston JIT (для Python).
В феврале этого года корпорация Microsoft представила HDInsight — решение для работы с большими данными на базе Hadoop, работающее под Linux на облачной платформе Azure. Теперь объявлено об общедоступности HDInsight на Ubuntu.
Для реализации проекта Microsoft сотрудничала с двумя компаниями: с Canonical по Ubuntu и с Hortonworks по Hadoop. По словам Джона Зэнноса (John Zannos), вице-президента Canonical по облачным альянсам и экосистеме, на сегодняшний день более 20 % виртуальных машин, представленных в облаке Microsoft Azure, работают под Linux, а хранилище VM Depot насчитывает более 1000 образов с Linux, и большинство из них используют Ubuntu.
Вице-президент Microsoft по базам данных и большим данным, Т.К. Ранга Ренгараджан (T.K. Ranga Rengarajan), заявил, что с Azure HDInsight на Ubuntu Linux предоставляется соглашение об уровне обслуживания (SLA), гарантирующее постоянную доступность (99,9 %) и техническую поддержку по всему стеку софта. Кроме того, в Microsoft указывают на «растущую экосистему независимых поставщиков программного обеспечения, создающих инструменты для Big Data-решений на базе Azure с HDInsight».
Помимо Linux-версии у HDInsight есть возможность запуска в среде Microsoft Windows.
P.S. Hadoop — не единственный Open Source-проект в составе HDInsight. На его странице говорится о том, что в дистрибутив также входят NoSQL-хранилище Apache HBase, а также популярные в мире больших данных продукты Apache Storm и Apache Spark.
Альянс Open Data Platform (ODPi), появившийся в феврале этого года по инициативе Pivotal и Hortonworks, обновил список участников и присоединился к Linux Foundation.
Авторы Open Data Platform намерены продвигать и развивать Apache Hadoop и другие связанные с ним Open Source-инструменты для работы с большими данными, уменьшая фрагментацию и создание дублирующих решений на этом рынке, а также формируя ODPi Core — «набор компонентов программного обеспечения, детализированной сертификации и набор Open Source-тестов, которые индустрия может использовать для построения Big Data-решений и приложений, определяемых данными». На начальном этапе в фокусе внимания ODPi Core оказались Apache Hadoop® (включая HDFS, YARN и MapReduce) и Apache Ambari.
Общее количество участников альянса изначально составляло 14, в марте увеличилось до 15, а теперь — до 25 компаний. Среди них: EMC, GE, Hortonworks, IBM, Infosys, Linaro, Pivotal, SAS, Splunk, Toshiba, Verizon, VMware.
Кроме того, ODPi получил статус совместного проекта Linux Foundation (Collaborative Project): «Состояние Apache Hadoop требует открытой стандартизации и интеграции, которые смогут ускорить и упростить его применение среди огромного сообщества пользователей», — заявил по этому случаю Джим Землин (Jim Zemlin), возглавляющий Linux Foundation.