G2A.com продолжает радовать своих посетителей еженедельными распродажами. На этот раз твоему вниманию предлагаются:

• Футуристические бои в Call of Duty: Advanced Warfare, первом выпуске сверхпопулярного сериала, разработанном с расчетом на новое поколение консолей, всего за 716 рублей.
• Новые испытания для любителей Dark Souls в мрачном и хардкорном экшне Lords of the Fallen за 606 рублей.
• История Красавчика Джека в Borderlands: The Pre-Sequel за 978 рублей.
• Кровавый хоррор от Синдзи Миками, создателя самых известных игровых ужастиков, — The Evil Within за 653 рубля.

Также G2A.com продолжает собирать пожертвования в благотворительный фонд Save the Children. На сайте стартовала акция Gamers Got Hearts: каждому, кто пожертвует на благо детей 3,5 доллара, G2A.com и партнеры подарят одну из перечисленных игр на выбор.

Продолжаем публиковать обзоры open source проектов, наиболее популярных на сайте Github за неделю.

1. Material Design Icons: пиктограммы Material Design от Google. В репозиторий входят SVG-версии всех иконок на 24 и 48 px, SVG и CSS спрайты, версии PNG для веба и iOS, а также версии в высоком разрешении (PNG). Есть онлайн-превью, выложен zip-архив.

2. AsyncDisplayKit: плавный асинхронный пользовательский интерфейс для приложений iOS, официальный сайт.

3. Sweetalert: красивая замена для стандартного алерта в JavaScript.

4. PerfMap: букмарклет для генерации тепловой карты производительности ресурсов, которые загружаются в браузере. Использует Resource Timing API, так что браузер должен поддерживать этот интерфейс (похоже, что работает только в Chrome).

5. ProgressBar.js: красивые индикаторы загрузки на любой вкус, можно использовать фигуры разной формы из предложенных примеров или рисовать собственные фигуры.

6. AngularJS Style Guide: руководство по грамотному использованию AngularJS.

7. Fetch: стандарт Fetch определяет запросы, ответы и процесс их обработки, является более простой в использовании альтернативой XMLHttpRequest.

8. lwan Web Server: экспериментальный высокопроизводительный HTTP-сервер, официальный сайт lwan.ws.

9. GopherJS: компилятор с Go (golang.org) в JavaScript, чтобы запускать программы Go в браузере.

10. Lazysizes: модуль загрузки изображений, фреймов и скриптов, в зависимости от их видимости в окне браузера: значительно повышает отзывчивость интерфейса на стороне клиента и экономит ресурсы на стороне сервера.

В ноябре 2013 года на сайте Wikileaks впервые опубликовали текст секретного международного договора о так называемом Транс-Тихоокеанском партнерстве (Trans-Pacific Partnership, TPP), который готовятся подписать США, Япония, Австралия, Канада, Мексика и другие страны. Несколько дней назад выложили обновленную версию черновика, датированную маем 2014 года.

Транс-Тихоокеанское партнерство — планируемая к созданию международная торгово-экономическая организация, целью которой является создание зоны свободной торговли в Азиатско-Тихоокеанском регионе. ВВП всех стран, планирующих вступить в TPP, достигает 40% в мировом ВВП, то есть это будет довольно влиятельная организация.

Документ предусматривает унификацию законодательства для борьбы с нарушениями в сфере интеллектуальной собственности, а также нормы по регулированию интернета. Одновременно с этим США готовят аналогичное Трансатлантическое соглашение о свободной торговле (Trans-Atlantic Free Trade Agreement) с Евросоюзом.

Год назад сообщалось, что TPP предусматривает установление нового минимального срока на защиту авторских прав: не меньше, чем 70 лет после смерти автора (Мексика предлагает 100 лет). США также подталкивали страны к установке срока копирайта 95 лет для корпоративных работ и 120 лет для неопубликованных работ.

В новой версии TPP сроки сохранились без изменений, но в раздел по интеллектуальной собственности всё-таки внесены некоторые правки. Главная из них: США предлагают увеличить охрану неимущественных прав на фармакологические разработки в области биотехнологий, в том числе на новые лекарства от рака. Корпорация, которая разработает такое лекарство, сможет дольше сохранять монополию и продавать его по сверхвысоким ценам (бизнес-модель фармацевтической промышленности состоит в том, что стоимость лекарства должна в сотни раз превышать себестоимость производства, потому что требуется окупить десятки других убыточных проектов, а также получить прибыль). Таким образом, новые лекарства по доступным ценам появятся на рынке позже, только по истечении установленного срока. Правда, другие страны пока не согласны с предложением США.

Год назад Фонд электронных рубежей выступил с категорическим осуждением духа и текста международных соглашений, которые готовятся в секретных условиях. «Оба этих международных соглашения, которые предусматривают нормы по копирайту и цифровым свободам, угрожают правам миллионов граждан, — сказано в заявлении Фонда электронных рубежей. — Торговые соглашения содержат такие нормы, потому что Торговое представительство США обсуждает их без консультаций с общественностью. Вместо этого, эти соглашения в одностороннем порядке защищают корпоративные интересы, а корпорации не особенно интересует, как соглашение повлияет на интернет и наши цифровые права».

Все шире и шире получают распространение Bug Bounty программы — программы вознаграждения за уязвимости различных вендоров. И порой при поиске уязвимостей находятся места, которые явно небезопасны (например — self-XSS), но доказать от них угрозу сложно. Но чем крупнее (хотя, скорее, адекватнее) вендор (например, Google), тем он охотнее обсуждает и просит показать угрозу от сообщенной уязвимости и при успехе — вознаграждает :). Эта статья — подборка сложных ситуаций и рассказ, как же можно доказать угрозу и сделать интернет безопаснее.

DNS Misconfiguration

Суть уязвимости заключается в присутствии в записях о доменах поддоменов, указывающих на адреса, принадлежащие локальной сети.

Предположим, что при переборе поддоменов мы нашли что-то вроде local.target.com, который указывает на адрес 127.0.0.1 (или просто на IP из локальной сети).

Рассмотрим случай, когда поддомен указывает на адрес 127.0.0.1. Предположим, что у нас есть какая-то организация, работающая через тонкие клиенты, соответственно, сотрудники «сидят» на одной машине, у которой IP-адрес 127.0.0.1. В таком случае атакующим может быть локальный пользователь данной системы. Для реализации атаки злоумышленнику необходимо забиндить порт на «верхних» уровнях, например 10024 (так как «нижние» порты потребуют соответствующих привилегий). После чего злоумышленник отправляет жертве (другому пользователю этой же системы) письмо, в котором содержатся ресурсы, подгружающиеся с адреса уязвимой системы, указывающего на локальный IP, например <img src = http://local.target.com:10024/>. Как только жертва откроет письмо, то она попытается подгрузить картинку с **.target.com, передав злоумышленнику свои куки, которые успешно подхватит открытый ранее снифер, хотя можно обойтись и netcat. Еще небольшой трюк: часто на подобных системах, да и не только, установлена служба CUPS (для принтеров), в интерфейсе которой есть множество XSS. В таком случае эксплуатацией ошибки с локальным адресом одного из поддоменов может воспользоваться и удаленный атакующий. Например, заставив пользователя перейти по такой ссылке:http://local.target.com:631/jobs/?job_id=&job_printer_name=Click%20Me&job_printer_uri=javascript:alert(document.cookie), можно провести XSS и получить куки *.target.com.

В случае если домен указывает на IP из локальной сети, можно показать следующий вектор: находясь в одной локальной сети с жертвой, можно занять нужный IP-адрес поддомена и попросить пользователя перейти по ссылке.

За подобную находку Шимон Грушецкий (Szymon Gruszecki) получил 100 долларов в селф-баунти hackerone (репорт 1509).

Self-XSS

XSS-атака — одна из самых популярных в вебе. Суть состоит в том, чтобы внедрить свой JavaScript на страницу, которую откроет жертва. Self-XSS — подвид XSS-атак, суть аналогична, но отрабатывает только в браузере атакующего.

Представь себе, что ты можешь где-то подставить JavaScript, он успешно отрабатывает, но… только для тебя! То есть XSS-атаку провести можно, но только против самого себя. Очень глупая ситуация :). А теперь давай сообразим вектор. Представим сайт target.com, где авторизована жертва. Чаще всего мы можем разлогинить жертву через CSRF (шаг 1), затем залогинить ее под собой, также через CSRF (шаг 2, да, мы «спалим» свои креды, но это неважно). Итак, состояние: жертва залогинена на target.com, где мы подставляем наш JavaScript. Следующий шаг (номер 3) таков, что мы просто рисуем окошко с авторизацией и сообщением наподобие «Ваша сессия истекла» (через уже имеющийся JS) на сайте (URL совпадает, выглядит легитимно!) и логируем вводимые данные (логин:пароль) жертвой на нашем сервере. «Нереально», — скажешь ты, но будешь не прав. Есть человек, которому подобный вектор засчитали, возможно за волю к победе, но малый процент успешности атаки против других пользователей был доказан!

Статья от ONsec_lab про домены, указывающие на IP-адрес из локальной сети. С некоторым списком

Google и self-XSS

Продолжая тему self-XSS атак, хочу обратить твое внимание на компанию Google как одну из самых щедрых в плане гонораров за найденные уязвимости. В зависимости от сервиса Google практически любой self-XSS вектор можно сразу считать как не self, ведь что в Gmail, что в Google Analytics по умолчанию есть функция, позволяющая «расшарить» свой аккаунт с другими пользователями, просто указав их email. Из историй сразу вспоминается XSS в имени загружаемого файла в Analytics, которая выполнялась только для своего аккаунта. Но (вспомни пример выше) данный вектор мог бы быть использован против других пользователей. Неизвестного автора данной «фичи», естественно, отблагодарили :).

User’s data leak — злобные рефереры

Уязвимость подразумевает халатную обработку чувствительных данных пользователя — присутствие в GET-запросах значений сессий, индексация в поисковиках и так далее.

Текущая, наиболее распространенная версия протокола HTTP включает в себя заголовок referer, который содержит URL, откуда «пришел» пользователь. Представь себе, к примеру, ситуацию: пользователь сбрасывает пароль, получает письмо на почту, переходит по ссылке с токеном для смены пароля, а ему показывается какая-нибудь картинка с другого сайта (например, комикс с xkcd.com, как правильно выбирать пароли) уже на самом сервисе, где меняется пароль. Запрос этой картинки произойдет… Да-да, с значением referer, где указан токен для сброса пароля. В итоге владелец домена, откуда подгружается контент (например, картинки), может сливать токены для сброса пароля и менять их быстрее, чем пользователь. За подобную находку на HackerOne заплатили 100 долларов.

Web Server Misconfiguration — небезопасные редиректы

Уязвимость представляет собой недостатки конфигурации веб-сервера, в частности значение параметра Strict Transport Security.

В общем случае не принято передавать какие-либо чувствительные данные (пароли, номера карт и тому подобное) напрямую через HTTP, следует использовать HTTPS, а лучше, чтобы вообще весь ресурс работал через HTTPS. И как это обычно происходит? Пользователь обращается к сайту по HTTP — http://site.com, получая примерно такой ответ сервера:

HTTP/1.1 302 Found
Server: nginx/1.2.4
Date: Mon, 28 Apr 2014 15:22:23 GMT
Content-Type: text/html; charset=windows-1251
Content-Length: 0
Connection: keep-alive
X-Powered-By: PHP/5.3
Location: https://site.com/

Данный ответ перенаправит пользователя на HTTPS-версию сайта для предотвращения man-in-the-middle атаки. Но… ведь атакующий может начать перехватывать данные раньше, подменив ответ сервера, чтобы пользователя никуда не перенаправляло. Чтобы это предотвратить, в ответе сервера используется заголовок Strict-Transport-Security. Он говорит браузеру, чтобы тот больше не посещал данный ресурс по HTTP, а сразу обращался к нему по HTTPS, и указывает время, которое данное правило имеет силу (заходить только по HTTPS) для данного сайта. Давай представим ситуацию: пользователь первый раз посещает веб-сайт из потенциально безопасной среды (например, с домашнего компьютера), ответ сервера был перехвачен, и заголовок Strict-Transport-Security «подчищен» злоумышленником. После этого пользователь снова посещает ресурс из небезопасной среды, например из кафе, где ему никто не «подрезал» заголовки и пользователь безопасно зашел на сайт. Так вот, вернемся к Bug Bounty. Был ресурс, где все настроено корректно — хидер отправлялся при редиректе с HTTP на HTTPS. Но вот время, которое данное правило действительно с момента установки, было относительно недолгим — 180 дней. Кстати, стоит отметить, что существует pre-shared list, где перечислены сайты, на которые можно заходить только по HTTPS (HSTS preload list), —goo.gl/KxrNtl.

Награда за специфичную настройку CSP

Misconfiguration — Content-Security-Policy — и есть, и нет

Уязвимость заключается в том, что веб-приложение некорректно определяет правила раздачи Content Security Policy.

Многим известен заголовок Content Security Policy (CSP), который все больше и больше приходит в массы. Он передается в ответе веб-сервера и сообщает браузеру, откуда и какой контент можно подгружать (картинки и тому подобное). В основном он предназначен для защиты от последствий XSS-атак, так как тот же снифер уже не внедришь со своего сайта (при корректных правилах CSP). Но дело в том, что не все браузеры его поддерживают и возможны случаи, когда разработчики принимают решение, что не надо отсылать данный заголовок клиенту, если его браузер не поддерживает CSP. Получается, что разработчики определяют белый список браузеров (по факту — список полей UserAgent), кому отсылать данный заголовок. В итоге имеем следующие проблемы:

• ответ без CSP-заголовка может быть закеширован клиентской стороной (например, на прокси-сервере). Хотя, бывает, и на серверной, где-нибудь на промежуточных кеш-серверах. Как итог — этот же ответ (без CSP) может быть отдан пользователю, у кого браузер поддерживает CSP;
• все больше и больше создается браузеров — форков Chromium, где пользователи выставляют свой UA, которого нет в белом списке по ясным причинам.

Как видишь, данные ситуации могут привести к случаю из заголовка — CSP и есть, и нет, даже для тех, кто его поддерживает. На HackerOne за подобную вещь также наградили, но все думают точно так же. Например, у Facebook ситуация сложная: они работают именно по белым спискам и не всем отсылают CSP (только хрому версии выше Х, FF выше версии Y, но не между A1 и B1), так как если аудитория ресурса очень большая (как у Facebook), то важен вопрос совместимости (у FF в определенных версиях с этим проблемы) и лучше не отсылать заголовок, чтобы не потерять аудиторию. Позднее они планируют убрать это правило.

Web Application Misconfiguration — небезопасный %username%

Уязвимость заключается в некорректной архитектуре веб-приложения, функционал которого позволяет атакующему подменить содержимое служебных файлов, находящихся в веб-директории приложения.

На разных сайтах по-разному генерируется URI для доступа к личному профилю. Чаще всего это что-то типа /users/username/, но бывает, что имя пользователя идет сразу после домена, например http://example.com/username. Давай разовьем ситуацию и предположим, что в имени пользователя разрешены точки… Приходим к тому, что мы можем зарегистрировать пользователя с интересным именем, например robots.txt, и, возможно, подменять содержимое файла для поисковых роботов, дав им проиндексировать то, что не нужно! Далеко за примером ходить не надо, наверняка ты помнишь случай с утечкой SMS на сайте «МегаФона». Кроме того, можно вообразить и другие ситуации, которые позволят поломать основной функционал сайта.

Выводы

Как видишь, существует много различных способов проэксплуатировать, на первый взгляд, не имеющий никакой угрозы баг. Многое зависит от смекалки, опыта, знания условий эксплуатации и воображения :). Советую поглядывать различные баги на hackerone.com, ведь многие уязвимости после закрытия становятся публичными. Там же можно почитать про утечку полных путей через CSS-файлы, отсутствие SPF-записи в домене и, как следствие, возможность спуфить адрес отправляемой почты (ведь SMTP позволяет спуфить адрес отправителя «по стандарту»), а также про многое другое, не менее интересное и немного странное :). Happy bughunting!

В лучших традициях последнего времени новая версия Mac OS X Yosemite (10.10) тоже собирает конфиденциальные данные пользователя. Правда, здесь не идёт речи о записи всех нажатий клавиш и перемещений курсора, как в Windows 10 Technical Preview, а всего лишь о поисковых запросах, список которых отправляется в Apple и третьим лицам. Но ведь это и не тестовая сборка, а коммерческий релиз, так что тотальная слежка здесь неуместна. Так, лёгкое наблюдение.

На сайте Github открылся репозиторий, в котором собирается архив данных, которые автоматически передавались с компьютеров пользователей на серверы Apple.

Судя по всему, Apple собирает не только поисковые запросы в интернете, но и локальные поисковые запросы. В общем, на серверы компании отправляется всё то, что пользователь вводит в окошко Spotlight. К сожалению, функция сбора данных включена по умолчанию у всех.

Согласно условиям пользовательского соглашения, с которым согласился каждый счастливый обладатель OS X, эту информацию разрешено передавать и партнёрам Apple, в том числе Microsoft.

Чтобы остановить сбор данных, нужно выполнить несколько действий.

Spotlight — не единственный модуль OS X Yosemite, который собирает конфиденциальные данные о пользователе и отправляет их в Apple. В том же репозитории на Github можно найти примеры, что такое происходит и в других ситуациях. Например, когда пользователь открывает окно “About this Mac”. Или указывает домен в почтовой программе Mail.

Интересно, что поисковые запросы из браузера отправляются в Apple даже в том случае, если сменить поисковую систему по умолчанию на DuckDuckGo.

Крошечный компьютер Intel Edison появился в продаже месяц назад. Как выясняется, его можно успешно использовать не только в робототехнике, но и в сфере информационной безопасности. Например, для поиска уязвимостей в ПО с помощью фаззинга. По соотношению производительности к стоимости он многократно превосходит современные серверы и рабочие станции.

Intel Edison — маленький и дешёвый компьютер на платформе x86. При размере 3,5 x 2,5 x 0,4 мм и цене менее $50 он оснащён двухъядерным процессором Atom Z34XX на 500 МГц, 1 ГБ RAM, 4 ГБ флэш-памяти, Bluetooth. На нём легко «взлетает» Linux.

Фаззинг предусматривает проверку ПО с помощью отправки на него потока случайных данных и поиска необычных реакций программы на те или иные стимулы.

Известный польский хакер Михал Залевски (Michal Zalewski) не особенно разбирается в микроэлектронике, но умудрился запитать несколько плат Intel Edison, не сломав их.

Михал сравнил производительность Intel Edison с обычным сервером. Малыши показали очень достойный результат. Они полностью разбили конкурента по показателю производительность/стоимость и производительность/энергопотребление. В задаче с параллельными потоками Edison в 5-8 раз превосходит по этим показателям современный сервер. Это было предсказуемо, ведь максимальная потребляемая мощность Edison составляет всего 800 мВт.

Понятно, что необязательно покупать собственное оборудование для такой задачи. Например, можно арендовать необходимые мощности на облачном хостинге. Это будет даже дешевле, чем Intel Edison. Но есть случаи, когда использование этих мини-компьютеров для фаззинга имеет смысл.

На скриншотах показаны результаты выполнения одноядерной задачи на фаззинг в программе afl на Intel Edison и Сервер Xeon X3440 (“Lynnfield”).

Intel Edison

Сервер Xeon X3440 (“Lynnfield”)

Еще пару лет назад выбор агрегатора RSS для маководов сводился всего к паре вариантов и назвать победителя было несложно. Теперь программ и сервисов более чем достаточно, но и требования изменились. Мы посмотрели на пять наиболее именитых экземпляров, начав с бета-версии Reeder 2 как самого многообещающего. У него, впрочем, есть достойный конкурент. Или даже несколько.

В июне 2013 года для любителей читать новости через RSS настал маленький конец света: в Google объявили, что сервис Google Reader закрывается. Казалось бы, это событие должно было взволновать только пользователей самого Google Reader, но в итоге оно оказалось столь значимым, что от него можно смело отсчитывать новую эпоху в мире (или, если принять во внимание малые масштабы, мирке) RSS.

Причина бедствия кроется в том, что Google Reader, помимо веб-интерфейса, через который можно было читать новости, предоставлял программные интерфейсы для синхронизации приложений. Можно было установить на компьютер любую читалку, то же самое проделать на телефоне и планшете и затем подключить все приложения к аккаунту Google Reader. После этого информация о подписках и статус прочитанности новостей начинали незаметно синхронизироваться между устройствами.

Тогда разработчики приложений как один поддерживали Google Reader — это оказалось значительно удобнее, чем создавать проприетарные сервисы синхронизации. Новость о том, что в Google в течение пары месяцев планируют полностью отключить сервис, прозвучала как гром среди ясного неба. Замены на тот момент не существовало, и на ее создание требовалось куда больше двух месяцев. В итоге наиболее привязанные к Google Reader приложения (например, Capuccino) просто перестали функционировать, другие утратили возможность синхронизироваться.

Ситуация исправилась не сразу, и последствия катастрофы ощущаются до сих пор. Первыми на помощь поспешили разработчики сервисов, которые могут стать заменой Google Reader, то есть имеют публичные API, дающие возможность синхронизировать разнообразные приложения друг с другом. В пример можно привести Feedly, NewsBlur, Feed Wrangler и Feedbin. Следом оживились авторы приложений: закрытие Google Reader для них стало шансом заполучить новых пользователей.

Урожай новых версий, работающих со сторонними веб-сервисами, вызревает до сих пор. Лучше всего дела обстоят с поддержкой Feedly — именно этот сервис успел перехватить упавшее знамя Google Reader, и именно его поддержку добавляют в программы в первую очередь.

Мы выбрали пять агрегаторов, которые успели решить проблему синхронизации или хотя бы обещают справиться с ней в обозримом будущем. Два из них пока находятся на стадии открытого бета-теста, однако это не мешает определиться с выбором.

Reeder 2

reederapp.com/mac

До закрытия Google Reader среди маковских агрегаторов RSS был явны лидер, и он назывался Reeder. Это приложение создается одним-единственным разработчиком, но ему удалось то, чего не могли другие: создать и поддерживать красивое современное приложение со всеми нужными функциями. Однако с поддержкой вышла осечка или, вернее, заминка: сил на то, чтобы выпустить новую версию сразу после Великого Коллапса, у программиста-одиночки не хватило. Первым делом он взялся за новую версию Reeder для iOS и лишь в середине апреля опубликовал публичную бета-версию Reeder 2 для OS X с поддержкой Feedly и других сервисов. Именно о не и пойдет речь.

По сравнению с прошлой версией Reeder преобразился. Хоть трехколоночная структура и сохранилась, теперь десктопное приложение куда больше напоминает мобильное: та же расцветка, тот же минимализм. При открытии встроенного браузера левая колонка со списком фидов схлопывается как прежде, что удобно и оставляет больше экранного пространства для контента. Кстати, насчет схлопывания: если первая версия отличалась приятной анимацией элементов интерфейса, то вторая в этом достигла просто невиданных высот.

По части дизайна интерфейса Reeder 2 вообще достоин всяческих похвал, и дело не только в аккуратности, лаконичности и плавной работе, но и в приятных штришках вроде картинок в новостях, которые растягиваются на всю доступную ширину, или однокнопочных горячих клавиш, которыми можно открыть новость во внешнем браузере или отправить в соцсеть. Да взять хоть значок приложения: на той стороне фирменной коробки, что не занята логотипом, теперь написано, сколько внутри непрочитанных новостей. Находка отличная — с одной стороны, все можно прочесть, с другой — не мозолит глаза, как прежний красный бейдж с вечно зашкаливающими числами.

В общем, у автора Reeder все шансы получить Apple Design Award — награду, которой Apple отмечает разработчиков лучших программ. Но прежде предстоит закончить с бета-тестом и выкатить Reeder 2 в Mac App Store. То, что работа над приложением не завершена, видно невооруженным глазом. Отправку заметок в Pocket и Instapaper добавили лишь недавно, и соответствующие кнопки ещё нельзя вынести на панель инструментов. Нет и возможности вручную сортировать список фидов и перекладывать их из папки в папку. Тем не менее Reader 2 работает стабильно и готов к ежедневной эксплуатации.

NetNewsWire

netnewswireapp.com

NetNewsWire — программа с давней историей. Ее первая версия вышла еще в 2003 году. NNW долго считался лучшим агрегатором RSS для мака, но его активная разработка одно время сильно буксовала. Проблема возникла из-за того, что права на программу в 2005 году купила фирма NewsGator, а в 2008 году ее руководство решило полностью сменить курс и посвятить все силы обслуживанию бизнес-клиентов. NetNewsWire в тот момент стал бесплатным и практически не поддерживался. Надо ли говорить, что к закрытию Google Reader он готов не был? Та же судьба, кстати, постигла и FeedDemon — популяр ный RSS-агрегатор для Windows, тоже живший под крышей NewsGator.

В 2013 году для последних пользователей NNW забрезжила надежда: код программы перешел в руки новой группы разработчиков, не имеющих отношения к NewsGator и рвущихся возродить программу и сделать из нее современный RSS-ридер. Вот уже год они наверстывают упущенное — на прогресс можно посмотреть, установив бета-версию.

Внешне бета-версия NetNewsWire 4.0 похожа на любой другой агрегатор RSS, однако пользователи предыдущих версий NNW сразу увидят, что он лишился одних функций и приобрел другие. Так, потерялась возможность менять раскладку окна (теперь только уже ставший стандартом трехколоночный режим), зато появилась возможность отправлять новости в Twitter, Facebook и Instapaper.

Главный недостаток бета-версии — отсутствие той самой возможности синхронизироваться с Feedly и прочими онлайновыми сервисами. Разработчики обещают, что синхронизацию добавят в стабильный релиз, но пока что пользоваться NNW можно лишь по старинке — загрузив в него файл OPML, содержащий список фидов. Есть и другие недочеты: внешний вид еще далеко не везде доведен до современных стандартов, в новостях не видно роликов с YouTube и прочих видеохостингов, до сих пор нет поддержки Pocket, и так далее, и так далее.

Из положительных отличий NetNewsWire можно назвать унаследованный от прошлых версий браузер с поддержкой вкладок (соответствующая панель появится справа после открытия первой же ссылки), а также возможность видеть миниатюры картинок рядом с заголовком каждой новости. На этом, увы, пока все.

ReadKit

readkitapp.com

Пока Reeder ждал большого обновления и оставался без поддержки синхронизации, у него появился достойный конкурент — ReadKit. Примечательно, что его разработчики явно изначально ориентировались на пользователей Reeder и позаимствовали у тогдашнего лидера многие идеи. Здесь такая же трехпанельная раскладка, очень похожий встроенный браузер с возможностью смотреть страницы через Readability, есть даже переключатель, позволяющий показывать в списке фидов только те, что содержат непрочитанные новости. Однако свои идеи у авторов ReadKit тоже имеются.

Главное отличие этого приложения в том, что оно изначально ориентировано на работу с разнообразными сервисами, и речь не только о синхронизации и возможности посылать ссылку в ту или иную социальную сеть или очередное закладкохранилище. На официальном сайте программа рекламируется как «единое место для чтения». Имеется в виду возможность ReadKit показывать статьи, сохраненные в тех же Pocket и Instapaper (правда, последний будет поддерживать кооперацию с ReadKit только при платной подписке). Оттуда подгружаются даже теги — это удобно, хотя в случае с Pocket не необходимо, ведь у того есть клиентское приложение для OS X.

Второе немаловажное достоинство ReadKit — это поддержка «умных папок». Те, кто сталкивался с такими папками в Finder, iTunes, iPhoto и прочих программах производства Apple, знают, о чем идет речь. Для такой папки задается набор правил, и она начинает работать в качестве фильтра. Можно ограничить содержимое новостями с определенным словом в названии, задать границы по дате публикации и так далее. Эта функция оказывается крайне полезной, когда требуется постоянно отслеживать новости по какой-то определенной теме.

Задав такие правила в ReadKit, можно смотреть, что писали про роботов за последний месяц

За последний год разработчики ReadKit успели значительно улучшить интерфейс программы, слегка расширить функциональность (в частности, была добавлена поддержка Safari Reading List) и повысить стабильность, однако с последним до сих пор не все ладно. Несмотря на то что ReadKit давно продается в App Store, разработчики выловили еще не все баги, приводящие к сбоям и зависаниям, — особенно это заметно при работе с «умными папками». Представляется, что авторы ReadKit до сих пор расплачиваются за глючный код, который писался в спешке: боялись, наверное, не успеть к закрытию Google Reader.

Leaf и «маленькие» читалки

rockysandstudio.com

Почему читалка RSS обязательно должна быть похожа на большую серьезную программу? Авторы Leaf решили оставить лишь самый минимум и создали маленькое и лаконичное приложение, в котором есть только то, что нужно.

Вертикальное окно Leaf разделено пополам: слева список новостей, справа текст. В жертву лаконичности принесли возможность выбирать конкретный фид, и их списка нет вообще — задать можно только папку. Получается, что новости идут разномастным потоком. Когда их мало и каждую планируется как минимум просматривать, это удобно. Если же подписок порядочно и из некоторых брызжет новостями, то программа окажется малопригодной: ленту затопит, и новости из более скромных источников придется вылавливать в стремительном потоке.

Leaf синхронизируется с Feedly и умеет отправлять ссылки в Facebook, Twitter и Safari Reading List. Поддержки Pocket, Instapaper и прочих сторонних сервисов нет, как нет и режима подгрузки полного текста через Readability, и встроенного браузера. Зато Leaf приятно выглядит — особенно хороши аккуратные круглые картинки рядом с заголовками новостей.

Интересно, что именно у Leaf куча конкурентов и подражателей — целый класс легковесных агрегаторов RSS, избравших местом своего обитания не док, а панель меню. В пример можно привести Stand и Favoriteer — оба бесплатны, доступны в Mac App Store и заслуживают того, чтобы потратить пять минут на ознакомление, если выбор еще не пал на одну из «полновесных» читалок.

Кстати, авторы самого Leaf тоже сделали еще более легкую программу — она называется RSS Notifier и показывает ссылки на новости через Notification Center. Клик по заголовку откроет обычный браузер — то есть сам RSS Notifier практически все время остается незаметным. А вот в его настройках кроется сюрприз: зайдя туда, обнаруживаешь, что разработчики предлагают «запчасти» к программе за отдельные деньги — заплатив два доллара, можно получить отдельный сайдбар для заголовков новостей, а еще два доллара дадут возможность смотреть текст новостей в лаконичном окошке, напоминающем Quick Look. При том, что сам RSS Notifier интересен, заигрывание с платными функциями напоминает худшие примеры приступов жадности времен расцвета shareware для Windows.

Итоги

Наиболее удачным выбором на данный момент кажется ReadKit, однако Reeder 2 имеет все шансы превзойти его. К тому же у Reeder сейчас есть достоинство: пока идет бета-тест, программой можно пользоваться бесплатно, тогда как за ReadKit просят пять долларов (а стабильность все равно по-прежнему на уровне беты). О судьбе NetNewsWire судить сложно: программа уже несколько месяцев выглядит почти готовой, а финального релиза с поддержкой синхронизации все нет и нет.

Отдельная ситуация с Leaf: он на голову выше своих бесплатных конкурентов, но подразумевает чтение ленты подряд. Это может сделать его бесполезным в глазах одних пользователей или идеальным выбором в глазах других.

Если ты скачал из интернета несколько песен или фильмов, то вряд ли сможешь устроиться на работу в ФБР. Нет, Бюро не проверяет твой компьютер и не просматривает сетевой трафик, но каждый кандидат проходит проверку на детекторе лжи, и там спрашивают, загружал ли ты пиратский контент из интернета и в каком количестве. Во время двухступенчатой проверки нужно говорить только правду. Ложный ответ хотя бы на один вопрос, если он регистрируется полиграфом, означает автоматическую отбраковку кандидата с пожизненным запретом на работу в ФБР. Человек лишается возможности повторно подать документы.

Вопрос о пиратстве — один из нескольких сотен, входящих в 55-страничный опросник ФБР. При этом интересуются, какое количество файлов скачано. То есть, если ты скачал немножко «пиратки» и признался в этом, то тебя могут и взять при наличии выдающихся способностей, но если соврал, то уже точно не возьмут.

ФБР — именно та организация, которая занимается облавой на пиратские сайты в интернете. На её счету немало «трофеев», в том числе торрент-трекер EliteTorrents, сайт с видеотрансляциями NinjaVideo. В список добычи ФБР можно записать и Megaupload, в закрытии которого Бюро сыграло немалую роль.

Борьба с пиратством ведётся не только на внешнем, но и на внутреннем фронте. В рядах своих сотрудников Бюро не желает видеть тех, кто замарал руки, скачав нелицензионный контент из интернета. Это нарушение считается таким же серьёзным, как приём наркотиков или мошенничество с кредитами.

Для стажировки в ФБР приглашаются студенты с выплатой зарплаты. Так вот, даже их предупреждают о недопустимости просмотра и прослушивания нелицензионного контента в интернете. Хотя, сложно представить современного студента, который ни разу не имел дела с таким контентом.

Кстати, аналогичные вопросы об использовании торрентов задают при собеседовании в ЦРУ.

iMacros — это программа, которая позволяет автоматизировать и имитировать действия пользователя в браузере. По словам разработчиков, iMacros загрузили 9 миллионов раз, но лишь 240 тысяч юзеров активно используют приложение. То есть лишь 3% из установивших продукт нашли ему применение. И неслучайно. При первом взгляде на документацию сложно разглядеть его удивительные, поражающие воображение возможности. Эта статья откроет их для тебя.

Рис. 1. Начало работы iMacros

Установка

Есть два варианта установки iMacros:

• в качестве расширения (add-ons) для браузера (Firefox, Chrome или Internet Explorer),
• как отдельное приложение (только для Windows).

В описанных ниже примерах использован iMacros Firefox add-on.

Hello world

Основной прием, которому стоит научиться, — запись действий в браузере и последующее их воспроизведение. Перейдем на вкладку Record на панели в левом нижнем углу экрана и нажмем на кнопку Record Macro. Теперь вобьем в Google «Hello world» и нажмем Enter. Потом кнопку Stop (под кнопкой Record Macro). iMacros сгенерировал код, который можно многократно запускать и редактировать:

VERSION BUILD=7020226 RECORDER=CR
URL GOTO=https://www.google.ru/?gfe_rd=cr&ei=Jw5gU4LuF9CWwAPQuIG4Ag
TAG POS=1 TYPE=INPUT:TEXT FORM=ID:gbqf ATTR=ID:gbqfq CONTENT=hello<SP>world
TAG POS=1 TYPE=BUTTON FORM=ID:gbqf ATTR=ID:gbqfb

Функция записи макросов дает возможность лишний раз не заглядывать в документацию и автоматизировать простейшие задачи, не заморачиваясь написанием кода.

Работа с данными

Заполнение форм из CSV-файла с данными

Предположим, нам нужно заполнить информацию о товарах интернет-магазина через CMS-админку (конкретный пример написан для Insales). Названия, описания, цены и остатки хранятся в файле CSV. Эту задачу можно мгновенно выполнить с помощью небольшого макроса:

SET !DATASOURCE products.csv ‘подключаем файл CSV (лучше прописывать абсолютный путь)
SET !LOOP 4
'делаем построчный обход файла и для каждый строки выполняем код, приведенный далее 
SET !DATASOURCE_LINE {{!LOOP}}
'открываем страницу добавления товара
URL GOTO=http://example.com/newproduct
'записываем значение первого поля файла CSV в форму для названия товара
TAG POS=1 TYPE=INPUT:TEXT FORM=ID:new_product ATTR=ID:product_title CONTENT= {{!COL1}}
'записываем значение второго поля файла CSV в форму для короткого названия товара
TAG POS=1 TYPE=TEXTAREA FORM=ID:new_product ATTR=ID:product_short_description CONTENT= {{!COL2}}
'третье и четвертое поле — аналогично
TAG POS=1 TYPE=INPUT:TEXT FORM=ID:new_product ATTR=ID:product_variants_attributes__price CONTENT= {{!COL3}}
TAG POS=1 TYPE=INPUT:TEXT FORM=ID:new_product ATTR=ID:product_variants_attributes__quantity CONTENT={{!COL4}}
'после ввода всех данных о товаре сохраняем его в каталог
TAG POS=1 TYPE=INPUT:BUTTON FORM=ID:new_product ATTR=*
// А вот так выглядит products.csv:
"Товар 1","Опиcание товара 1","555","7"
"Товар 2","Опиcание товара 2","722","13"
"Товар 3","Опиcание товара 3","234","9"
"Товар 4","Опиcание товара 4","301","11"

Рис. 2. Запись макроса

Извлечение данных из веб-страниц

А теперь представим обратную ситуацию. Когда нужно просмотреть каталог магазина-конкурента и сохранить информацию о товарах.

'Этот код извлекает текстовое содержимое из абзацев, имеющих атрибут "class", равный "product_description"
TAG POS=1 TYPE=P ATTR=CLASS:product_description  EXTRACT=TXT
'А этот сохраняет его в файл
SAVEAS TYPE=TXT FOLDER="C:\" FILE="product_desc.txt"
'А вот команда для запуска диалогового окна сохранения картинки и нажатия кнопки подтверждения:
TAG POS=1 TYPE=IMG ATTR=ID:product_image CONTENT=EVENT:SAVEITEM 
ONWEBPAGEDIALOG KEYS={down<SP>2}{tab<SP>1}{enter}

Естественно, весь этот код можно использовать в цикле с динамическими переменными.

Рис. 3. Панель запуска макроса

Вызов iMacros из кода

Любой макрос можно сохранить в файле с расширением iim и использовать в приложениях, написанных на 16 языках программирования. Только надо не забыть установить полную версию (не аддон) iMacros на компьютер или веб-сервер.

Поддерживаемые языки

• ASP
• ASP.NET
• C#
• C++
• Delphi
• FoxPro
• Java
• JavaScript
• Perl
• PHP
• Python
• Power Shell
• Ruby
• TCL
• VBA
• VBS

Batch-файлы

Вызов iMacros из батников — наиболее простой и удобный путь автоматизировать их выполнение. Достаточно одной строки для запуска макроса:

"ProgramFiles\iOpus\iMacros\iMacros.exe" -macro "..\..\Macros\Demo\RegExpSearch.iim"

C++

Основная сложность в использовании iMacros под C++ — настройка среды разработки (конкретику по версиям различных сред ищи в документации или спрашивай у саппорта). Принцип работы кода такой же, как в PHP:

IAppPtr app = IAppPtr(__uuidof(App));
Status s = app->iimInit("", true, "", "", "", cTimeout);
s = app->iimPlay("wsh-extract-rate", cTimeout); // Запуск wsh-extract-rate
s = app->iimExit(cTimeout);

Использование JavaScript в макросах

В iMacros можно присваивать переменным результаты выполнения JavaScript-кода c помощью команды EVAL:

SET JSVAR EVAL("var JSVAR = 45+5; JSVAR;")

PHP

iMacros можно запускать с веб-сервера, используя PHP-скрипт. Зачем это может пригодиться? Для пополнения базы данных посредством мониторинга информационных сайтов, генерации онлайн-табло результатов тестирования состояния серверов и так далее. Пример вызова макроса, осуществляющего поиск на странице:

<?php 
    $iimobject = new COM("imacros"); 
    // Обращаемся к компоненту iimRunner (он уже должен 
    // быть предварительно запущен на сервере)
    $imacrosprocess = $iimobject->iimInit("-runner");
    // Получаем код макроса и слова для поиска 
    // из адресной строки
    $imacrosprocess = $iimobject->iimSet
      ("-var_keyword", $_GET["keyword"]);
    $imacrosprocess = $iimobject->iimPlay
      ($_GET["macro"]);
    // Выводим отчет о выполнении макроса (удалось 
    // запустить или нет)
    echo "iimplay=";
    echo $imacrosprocess;
    // и результаты поиска
    echo "extract=";  
    echo $iim1->iimGetLastExtract;     
    $s = $iim1->iimExit(); 
?>

Выполнение макросов по расписанию

Для отсрочки выполнения команды на n-е количество секунд существует команда WAIT. Пример:

WAIT SECONDS=10.

Для более сложного планирования выполнения макросов надо прибегать к помощи сторонних языков программирования. Простейшие варианты — batch-файлы + Windows Task Sheduler или PHP + Crontabe.

Рис. 4. Окно редактирования макроса

Direct Screen Technology

Если сайт сделан на Flash, Flex или SilverLight, то к его элементам нельзя обратиться стандартными способами (по идентификаторам DOM-разметки). Необходимо использовать координаты объекта на веб-странице:

'клик по точке с координатами и ввод текста
DS CMD=MOVETO X=455 Y=224 CONTENT={BACKSPACE} текст 

С помощью координатной адресации можно даже имитировать drag and drop. Перед записью макроса для Flash-сайта необходимо включить Use Direct Screen Commands в настройках.

Скриншоты

С помощью команды SCREENSHOT TYPE=(PAGE|BROWSER) FOLDER=folder_name FILE=file_name можно сделать скриншот всей страницы, а используя TAG + обращение к элементу + CONTENT=EVENT:SAVE_ELEMENT_SCREENSHOT — отдельной ее части.

Тестирование сайтов

С помощью iMacros можно легко написать программу для мониторинга времени реакции на разные действия пользователя. Пример:

'Загружаем страницу и записываем в бортовой журнал время на ее загрузку
URL GOTO=http://example.com/about
STOPWATCH ID=PageAbout
'Вводим имя и фамилию пользователя в формы и замеряем время, затраченное на отправку данных
TAG POS=1 TYPE=INPUT:TEXT ATTR=NAME:username CONTENT=Ira
TAG POS=1 TYPE=INPUT:TEXT ATTR=NAME:usersurname CONTENT=Chernova
TAG POS=1 TYPE=BUTTON:SUBMIT FORM=ID:SendInfo ATTR=TXT:SendInfo
STOPWATCH ID=SendInfo

Результаты измерений сохраняются в Imacros\Downloads\performance_Stopwatch.csv.

Обработка ошибок

По умолчанию в случае возникновения какой-либо ошибки выполнение макроса останавливается. Этого можно избежать, прописав в начале !ERRORIGNORE YES.

Использование прокси-серверов

Для этого чтобы подсоединиться к прокси-серверам перед выполнением макроса или во время его, используй команду proxy:

PROXY ADDRESS=127.0.0.1:8888

Альтернативы

• ZennoPoster
• Selenium IDE
• DejaClick
• UBot Studio

Запись видео

Если ты хочешь запечатлеть лучшие моменты работы iMacros на видео — используй плагин Capture Fox для Mozilla или Screencastify для Chrome.

Заключение

В этой статье рассмотрены возможности iMacros, позволяющие решать тривиальные проблемы, с которыми может столкнуться любой IT-специалист или просто активный пользователь инета. Всего же инструмент включает в себя более полусотни команд, обозреть которые в формате журнала невозможно. Поэтому, если ты не нашел здесь ничего, что могло бы облегчить твою рутину в Сети, не отчаивайся и загляни в документацию или на форум imacros.net.

Самому популярному Linux-дистрибутиву исполнилось 10 лет. Первая версия под названием Ubuntu 4.10 (Warty Warthog) вышла 20 октября 2004 года. Эта замечательная ОС показана на скриншоте внизу. Разработчики вспоминают, что выпуск первой версии потребовал почти восьми месяцев работы.

Как известно, миллионер Марк Шаттлворт в начале 2004 года путешествовал по Антарктиде. Вернувшись, он взялся читаьт архив почтовой рассылки разработчиков Debian — и использовал его как каталог разработчиков, выбирая самых интересных и талантливых для работы над новым проектом.

Вскоре ребята из списка начали получать письма от Canonical с предложением работы на полную ставку над форком Debian. Многие не обращали внимания на эти письма, но другие согласились. Для общения создали секретный канал #weirdos на FreeNode. Постепенно на этом канале появлялось всё больше и больше разработчиков Debian.

Первая встреча разработчиков Ubuntu

Но именно в ту встречу (перед исчезновением) Шаттлворт впервые написал на доске магическое слово UBUNTU (вместе с другими вариантами названий).

Лабиринт в гостинице после первой встречи разработчиков

Группа Ubuntu становилась всё больше, и другие разработчики Debian называли их SSDS (Super Secret Debian Startup).

На первой встрече обсудили основы проектов, которые со временем вырастут в Ubuntu и Launchpad (тогда назывался Soyuz). Первоначальный набор пакетов определили, изучив, что установлено на ноутбуке одного из разработчиков Мэтта Циммермана (Matt Zimmerman, на фотографии первый слева в нижнем ряду).

Целью создателей Ubuntu было выйти в тройку самых популярных дистрибутивов Linux через 2 года. Но реальность намного превзошла ожидания: Ubuntu вообще ни разу не сходила с первого места. Диски с дистрибутивом разметались в момент, в любом количестве, даже если их просто оставляли на стойке в аэропорту.

Ещё одна эпоха подошла к концу. Легендарная корпорация IBM приняла решение избавиться от убыточного подразделения полупроводников и передала его компании GlobalFoundries. Слово «продала» тут не совсем уместно, потому что к фабрикам и патентам IBM добавила ещё $1,5 млрд деньгами, лишь бы GlobalFoundries забрала себе это подразделение. Можно сказать, что подразделение продано за –1,5 млрд долларов.

К GlobalFoundries переходят тысячи патентов IBM и два завода по производству микросхем в Ист-Фишкиле (шт. Нью-Йорк) и Эссекс-Джанкшене (шт. Вермонт).

На первый взгляд, сделка кажется удивительной: как можно платить кому-то огромные деньги, чтобы он забрал у тебя собственность? Но таковы особенности большого бизнеса. IBM нуждается в этих процессорах, но в то же время несёт ответственность перед акционерами за операционные убытки.

Выплаты IBM в пользу GlobalFoundries растянуты на три года.

IBM также сообщила, что продолжит научно-исследовательскую деятельность в области процессоров Power, и GlobalFoundries получит доступ к результатам этой деятельности. Между прочим, в июле IBM анонсировала, что вложит в R&D по процессорам $3 млрд. Всё это, в итоге, достанется GlobalFoundries.

В свою очередь, GlobalFoundries будет эксклюзивным поставщиком процессоров 22 нм, 14 нм и 10 нм для IBM в ближайшее десятилетие.

Это уже второй раз в нынешнем году, когда IBM избавляется от убыточного производственного подразделения. В сентябре была закрыта сделка по продаже производства серверов x86 китайской корпорации Lenovo, которая, в результате, стала третьим по размеру в мире производителем серверов x86.