Рассылка закрыта
При закрытии подписчики были переданы в рассылку "Левитас: Больше денег от Вашего бизнеса" на которую и рекомендуем вам подписаться.
Вы можете найти рассылки сходной тематики в Каталоге рассылок.
Как сделать рекламу эффективной? Только проверенные факты.
|
КАК ПРОВЕРИТЬ СОМНИТЕЛЬНЫЕ МАРКЕТИНГОВЫЕ ДАННЫЕ? ВЫПУСК 64
Рынок маркетинговых исследований растет, как многие наши рынки. И как любой растущий рынок, он не застрахован от "подделок". Поддельные данные, анкеты, "заполненные на коленке", "бригады бабушек" и много интересного в сегодняшнем выпуске, в котором можно найти некоторые рекомендации по поводу того, как проверить качество проведенных исследований рынка или потребителей. Как-то один знакомый журналист спросил одного из наших специалистов – как можно подделать данные маркетингового исследования так, чтобы ни один эксперт не смог догадаться, что они "битые", и не смог бы их проверить. Мы долго ломали голову, как такое теоретически можно сделать, но так и не придумали. И вот почему. Исследования, если они сделаны по грамотной (пусть и не общепринятой) технологии, ДОЛЖНЫ содержать в себе возможности к воспроизведению результатов исследования. Важные характеристики результатов исследования - надежность и репрезентативность данных, которые исследователь приводит в каждом отчете, - это характеристики, как раз показывающие воспроизводимость данных исследования на нужной вам аудитории. По этическим соображениям в отчете принято приводить тексты методик - чтобы можно было проверить грамотность составления вопросов. Описываются методы сбора данных, методы проверки собранных данных и т.п. Исследование, в том числе и маркетинговое, - это очень четкая технология и методология. Не зависимо от конкретного метода. Даже если метод инновационный, сама организация исследования строится так, что можно проверить данные, или, во всяком случае, убедиться в их (не) достоверности, просто познакомившись с отчетом. Максимум, где можно злоупотребить мало-мальски не заметно - в формировании выборки. На фокус-группу могут привести знакомых или людей, которые знают метод (журналисты, маркетологи, социологи). Могут опросить студентов, а подать как опрос элиты. С фокус-группами все очень просто - сейчас уже трудно представить фокус-группу без видеокамеры. Расшифровка данных, наличие видеокассет, где знакомых между собой людей и специалистов можно легко вычислить – все, что нужно для того, чтобы удостовериться в том, правильно ли проведено исследование. Надо изначально требовать видеосъемку. Она не сильно удорожает группу (максимум на 200-300 долларов/1 группа), если же компания-исполнитель или подрядчик-консультант ценой пытается видеосъемку отменить (выкатывают, к примеру, 1000 долларов за нее) - стоит подумать вообще о том, чтобы с такой компанией связываться. Что касается опросов, там тоже можно проверить практически все. От грамотности составления методики до достоверности собранных данных. Вообще анкеты хранятся в каждой исследовательской компании довольно долго (по договору - срок оговаривается). Можно напрямую попросить любые 10-20 анкет, самим прозвонить и проверить. Можно по косвенным признакам определить "подделки". Есть чисто профессиональные критерии, различные индексы. К примеру, степень согласованности данных. Слишком согласованные данные - надо всегда проверять, как и слишком "диффузные", рассогласованные. Часто они являются "симптомом" слишком малой выборки. Опросили 126 человек, приписали нолик к цифре, а разброс мнений – слишком маленький, все данные "слиплись" в 2-3 фактора – это повод для проверки. Другой метод - метод "расщепления выборки пополам". Берете таблицу сырых данных, делаете из нее выборку, допустим по 300 случайных анкет, или же делите ее пополам, и делаете обработку данных каждой половины отдельно. Смотрите, насколько данные "похожи" друг на друга. Полезно бывает и просто просмотреть таблицу сырых данных, чтобы проверить, нет ли полностью совпадающих строк, нет ли вопросов, в которых комбинация ответов от вопроса к вопросу повторяется практически полностью. Есть еще море "фишек", которые знают специалисты, и которым научаешься не сразу. Но это такие тонкости, которые лучше и не браться обсуждать, чтобы выпуск рассылки не превратился в отличное снотворное для вас в конце рабочего дня. А вообще иногда полезно просто знать "врага в лицо", то есть знать основные типы злоупотреблений, которые можно предусмотреть еще на этапе выбора подрядчика на проведение исследований. Некоторые типичные подделки и методы их избегания чуть ниже. 1. Про фокус-группы мы сказали, самые частые злоупотребления там – это: а) студенты вместо элитной аудитории; б) люди, набранные среди знакомых, а не по критериям, которые вам необходимы; в) наличие специалистов, которые не могут быть ни на одной группе, вне зависимости от темы (психологи, социологи, журналисты, рекламисты… в общем, почти все, кто читает эту рассылку). Как избежать? Требуйте видеозапись. Сейчас она уже не сильно удорожает стоимость группы, как было еще года два назад, но позволит Вам проверить работу исполнителя. 2. Опросы также подделываются по типичным схемам. а) "Бригады бабушек" – есть совсем мелкие компании, которые вроде как делают исследования на заказ, берут денег чуть меньше, чем остальные компании, а данные полностью сдают липовые. Этот метод – привлечение пары десятков пенсионерок на постоянное заполнение анкет по разным темам - позволяет обходить некоторые статистические критерии проверки данных, не будем уточнять какие. Мы ведь учим не данные подделывать, а избегать подделок. По нашим наблюдениям (а нам такие "бригады" предлагаются на субподряд довольно часто), в руководителях у них часто бывают вполне успешные и грамотные в математическом и социологическом плане молодые специалисты, которые объясняют бабушкам, как заполнять анкеты, чтобы не было подозрений в подделках. Как избежать? Не поддавайтесь соблазну сделать исследование быстрее, чем это физически возможно даже силами крупной компании, в которой все на потоке. Не покупайтесь на демпинг. Требуйте сдавать таблицы сырых данных в отчете и образцы заполненных анкет, если не все, то хотя бы с полсотни анкет на прозвон потребуйте. Требуйте, чтобы в анкетах был телефон или иные контакты всех респондентов. б) "Заполнение на коленке". Даже не удобно говорить об этом типе подделок. Это самый простой тип подделок, который при наличии даже просто таблиц и графиков уже обработанных данных проще всего обнаружить. Некоторые методы и способы мы описали выше. Если же есть таблица сырых данных, то это обнаруживается "на раз-два" – дублирующие друг друга анкеты, слишком согласованные данные и многие другие вещи позволяют определить подделку довольно быстро. Как избежать? Изучайте репутацию компании. Просите анкеты на проверку и прозвон. Просите сырые данные, сами смотрите таблицы сырых данных. в) Нерепрезентативная выборка. Чаще касается товаров класса люкс и дорогих услуг. Добраться до хорошо зарабатывающих людей, да еще и суметь напрячь их с опросами довольно трудно. Куда как проще опросить студентов, а выдать за опрос элиты. Многие уважающие себя и уважаемые коллегами исследовательские компании и не предлагают массовых опросов элиты. Так что предложение сделать опрос на огромной выборке на труднодоступных аудиториях – само по себе требует осторожной реакции. Даже если у вас нет денег на "монстров" рынка, попросите у них бриф и поговорите с их аккаунт-менеджерами. Они хотя бы порекомендуют альтернативные методы исследования труднодоступных аудиторий, какие - сами узнаете. Это методы, которые в определенных случаях имеет смысл использовать вместо массовых опросов, просто чтобы не обманывать себя. Как избежать? Тут бывает не так-то просто определить подделку. Лучший способ, пожалуй, это экспертное мнение. Покажите отчет паре-тройке независимых специалистов, у каждого из них наверняка есть опыт исследования сложных аудиторий, и они, как минимум, могут соотнести ваши данные со своими и сказать, что в отчете правдоподобно, а "чего не может быть никогда". Такие они, маленькие хитрости больших исследований.
В общем, можно сказать, что данные подделать-то можно. Но непроверяемых на подделку данных попросту не существует в природе - все можно проверить, особенно, если исследования свежие. Может, это и ноу-хау самых "продвинутых" исследователей. ;-) Но оно точно есть. Во всяком случае, в нашем профессиональном окружении все нормальные исследователи это могут сделать, в этом, на самом деле, нет ничего сложного.
Удачи вам и… остерегайтесь подделок! Источник: PRStudio – студия интерактивной рекламы и PR
|
| В избранное | ||
