365 идей в год по маркетингу, менеджменту и ведению бизнеса Что такое А/Б тестирование?
Приветствую, коллега.
В эфире копирайтер Дмитрий Кот с очередным выпуском рассылки 365 ИДЕЙ В ГОД ПО ВЕДЕНИЮ БИЗНЕСА. Итак, мы начинаем.
Вы знаете, что такое А/Б тестирование? Умный термин, который иногда всплывает в разговорах. А что это? О чем это? И, главное, как это в использовать в бизнесе? Сегодня
ответы на все эти вопросы вы узнаете.
A/Б-тестирование — давно известный и популярный метод исследований. Его суть определена в его же названии. Берется 2 группы (А и Б) и испытываются в одинаковых условиях. Испытывают случайные люди или тестовая группа иногда сами того не подозревая. Потому что все что они делают — совершают обычные действия, мы же наблюдаем и делаем выводы. Таким образом, сравнив, например, две версии одного дизайна можно сделать выбор в пользу более эффективно.
Давайте для наглядности рассмотрим более конкретный пример относящийся непосредственно к дизайну и конверсии интернет трафика. Предположим мы хотим оценить эффективность расположения рекламного блока. У нас есть две версии дизайна: версия «А», где под рекламу предусмотрено место в «шапке» (стандартный баннер 468х60), версия «Б» – вместо баннера в «шапке», строка под логотипом.
Трафик в размере 10000 посетителей случайным образом равно делиться между версиями «А» и «Б». После эксперимента оценивается CTR. Какой вариант оказался эффективнее тот и победил. Вот так все просто.
Что можно тестировать методом A/Б-тестирования?
Как вы уже поняли, A/Б-тестирование (A/B-Testing) — штука сверхполезная. Можно много теоретизировать и рассуждать о достоинствах того или иного решения. Но, это лишь слова. Практика и статистика дает точный ответ.
Глобально с помощью A/В-тестирования можно ответить на вопрос какой вариант дизайна эффективнее, или какой лучше конвертится и приносит больше денег. Не потому что так кажется вам или так считает дизайнер, а потому что это подтверждается объективными данными.
Вообще же протестировать подобным образом можно практически все что угодно — заголовки, цветовую схему, расположение элементов и рекламных блоков, варианты верстки и т.д.
Некоторые принципы A/Б-тестирования
Большинство принципов A/B-Testing понятны сами собой и вполне логичны, тем не менее стоит их указать:
-Варианты «А» и «Б» должны отличаться только одной вещью
Если вы внесете множество (да хотя-бы два) изменений, вам будет в итоге не понятно какое из них и в какой степени влияет на результат.
-Трафик между вариантами «А» и «Б» должен распределяться случайно
Это минимизирует влияния таких факторов как источники трафика и прочее.
-Тестируйте на новых посетителях
Настройте эксперимент таким образом чтобы в нем участвовали только новые посетители, например, тот народ что приход с поисковых систем. Такой посетитель объективнее.
-Должна накопиться достоверная статистика
Нельзя заканчивать тестирование после того как к вам пришло 20 человек. Этот результат статистически недостоверный. Для того чтобы считать результат более-менее достоверным следует «прогнать» хотя бы 1000 человек, а лучше 10000 и более. Если у вас не позволяет трафик, придется подождать.
-Проверяйте результаты в обоих группах одновременно
Опять же чтобы исключить погрешность, оценивайте результаты тестирования в одно время.
-Не верьте себе
У каждого из нас есть собственное мнение и представление о том что правильно, а что нет. Например, нам может казаться что правильно размещать баннер внизу, а А/Б тестирование может показать что от него больше толку если он расположен вверху. Иногда мы противимся неожиданному результат, списывая его на случайность или ошибку. Не стоит. Если тестирование проведено правильно, результат верный. Оставьте свое мнение при себе и сделайте так как подсказывают результаты исследования.