- VPN-сервис Hola тоже рассчитывает, что материальное стимулирование поможет избавить софт от проблем
Список, наверное, можно продолжить, наверняка вы знаете про подобные программы. Как вы к ним относитесь? Лично мне кажется, что на длинной дистанции такие программы будут малоэффективными:
- рынок Zero-day в основном черный, на нем не так много участников, и он достаточно замкнутый.
- bounty-программ пока что не так много
- эрго, пока что выгоднее оставаться в теневой части, потому что потенциально пострадавшая сторона может и не заплатить, а на черном рынке, глядишь, удастся продать.
- если вытащить этот рынок на свет божий, то награда за найденную уязвимость должна быть достаточно высокой, чтобы превысить выгоду от продажи на черном рынке.
- и не станет ли тогда искать баги выгоднее финансово, чем ремонтировать их, и не утекут ли разработчики мощным потоком в такие программы?
Второй момент упоминают разработчики из Moussouris, авторы bug bounty для Microsoft – эти программы эффективны для новых релизов и "молодого" ПО, но вряд ли будут сильным подспорьем для зрелых, развитых приложений. Идея Moussoris в том, что, возможно, выгоднее платить хакерам за раскрытие их техник и описание инструментария, которым они пользуются, чем привлекать больше "глаз" в проекты.
Третий вопрос чисто практический (особенно это касается таких критичных в плане безопасности проектов, как ПО для самолетов, например). Давайте разрешим людям ломать софт для самолетов –звучит довольно жутко. Сразу возникают мысли о первоначальных затратах на такой проект – если для тестирования сайта, например, можно приглашать всех желающих, проверка ПО, относящегося к управлению самолетом, уже требует проверки службой безопасности, тщательного отбора, и затрат, которые, скорее всего, нивелируют выгоду.
В своей новой статье Наталья Руколь, автор и ведущая Школы Тест-Аналитика, рассказывает о самой сложной части тест-анализа: отказа от тестов по причине нехватки времени. Как, когда, какие?
Тяжкая миссия тестировщика
Какая самая главная задача тестировщика? Какой навык является наиболее ценным для хорошего тестирования?
Начинающие тестировщики обычно считают, что их главная задача - придумать как можно больше тестов:
Что может влиять на выполнение той или иной операции?
При каких значениях всё может сломаться?
Как “положить” систему?
Например, мы тестируем сервис загрузки изображений. Начинающий тестировщик проверит разные размеры файлов, форматы, разрешения, и, возможно, на этом остановится. Опытный тестировщик добавит разные методы сжатия, битрейт, прозрачность, и множество других свойств изображения, которые могут влиять на загрузку и/или обработку.
Постепенно в тестировании приходит опыт генерации тестовых идей, и мы можем выявить множество влияющих параметров. С последующим опытом к генерации идей подключается необходимость комбинирования проверок: как проверить какие-то значения/условия не только по отдельности, но и в специфичных комбинациях? Например, в случае с загрузкой картинок, у нас может быть ошибка при обработке маленьких изображений в формате PNG с прозрачным фоном. На больших картинках не воспроизводится ошибка, без прозрачности тоже, и получается, нам была важна именно эта комбинация. Для того, чтобы поймать подобные ситуации, мы подключаем тест-анализ:
чёткое разбиение на классы эквивалентности и доменный анализ,
комбинаторику значений параметров действия,
pairwise и triplewise
и т..д.
Опытный тестировщик видит больше влияний, учитывает больше связей, и как следствие понимает необходимость в проведении значительно большего количества тестов.
И именно здесь - ступень для перехода на следующий уровень экспертизы и мастерства. В дело вступает реальность: в большинстве случаев провести достаточное количество тестов невозможно. “Спасибо, что вы столько тестов придумали, но продукт мы отдаём в тестирование сегодня вечером, а релиз должен состояться завтра”.
У некоторых тестировщиков такая ситуация вызывает постепенную демотивацию: мы не можем протестировать всё! Но просветлённые тестировщики смотрят на ту же проблему под другим углом: “отлично! вот это challenge! мне надо придумать, как протестировать это всё действительно быстро!”. А чтобы протестировать в сжатые сроки, от каких-то тестов придётся отказаться. Каждый из них может найти потенциальный дефект, и получается, что, отказываясь от проведения того или иного теста, мы повышаем вероятность пропуска дефекта. Насколько критичного? Зависит от теста, которому мы говорим “прости и прощай, но не в этот раз”. И получается, что главная задача тестировщика в этом случае - выбрать, какие тесты мы не будем проводить. Не будем тестировать, Карл!
В трансляцию блогов еженедельно добавляются новые блоги. Их количество уже давно перевалило за отметку 100. Ну а мы продолжаем знакомить Вас с новыми блогами.
Это может показаться невероятным, но я решил сделать ещё один блог, посвящённый инструменту Selenium :)
В него будут попадать относительно небольшие новости про сам Selenium и смежные области, ссылки на всякие полезные штуки, прямо или косвенно связанные с разработкой автотестов для веб-приложений.
Иногда я буду рассказывать про разные прикольные ситуации, которые возникают в процессе разработки Selenium, чтобы вы могли заглянуть на внутреннюю кухню.
Поначалу предполагалось, что таким информационным каналом станет недавно созданная группа в фейсбуке. Но внезапно выяснилось, что не все любят фейсбук, и не все там зарегистрированы. Хм... В общем, получилось так, что я не могу делиться ссылками на посты в фейсбуке, и это неудобно. Поэтому появился этот новый блог.
Итак, небольшая сводка:
в колонке новостей сайта Selenium2.ru будут публиковаться "официальные" сообщения -- про выход новых релизов Selenium, про аналогичные (или конкурирующие) инструменты, про запуск тренингов, про различные конференции и семинары
в этом блоге будут публиковаться короткие новости, неформальные пояснения к официальным сообщениям, всякие полезности и инсайдерская информация о процессе разработки Selenium
группа в фейсбуке никуда не исчезнет, в неё будет попадать информация как из этого блога, так и из других источников, а также непосредственно в ней можно устраивать разные обсуждения, ну и вообще -- многим удобно получать новую информацию в своей ленте фейсбука, а не бегать по разным сайтам
да, у меня есть ещё один блог -- "А хотите я расскажу вам..." -- он тоже никуда не исчезнет, но он предназначен не для новостей, а для "нетленки"