Борьба за качество и надежность данных в онлайн исследованиях.

Мавлетова Айгуль Маратовна (Online Market Intelligence)

По мере увеличения количества онлайн панелей в западных странах заказчики онлайн исследований начали выражать сомнения относительно качества полученных данных. В 2006 году компания Comscore Networks выступает на конференции CASRO с шокирующим по содержанию для исследовательской области докладом, в котором утверждается, что более 30% онлайн исследований проводятся на основе опроса всего 1% населения. Проблема связана со множественным членством респондентов в панелях. Уже в 2005 году Пит Кумли, председатель компании Virtual Surveys, фиксирует, что более 75% панелистов являются участниками трех и более панелей [1]. Ник Спэрроу предполагает, что панельные провайдеры должны находить новые источники рекрутирования респондентов, не используемые другими компаниями, для того чтобы минимизировать количество профессиональных респондентов. Однако в любом случае, уверен Н. Спэрроу, «незатронутые другими компаниями респонденты останутся членами одного проекта только до тех пор, пока не поймут, что можно заработать больше денег, присоединяясь к еще ряду онлайн панелей» [2, p. 182]. Проблема усугубляется тем, что панелисты регистрируются не только в нескольких панелях одновременно, но и в одной панели под разными именами и электронными почтовыми ящиками.

Другим источником ошибки выступает эффект от постоянного участия в опросах (так называемый эффект «приспособления» — panel conditioning). Эффект состоит в том, что ответы тех людей, которые принимают участие в опросах на регулярной основе, отличаются от ответов респондентов, принимающих участие в опросе впервые. Можно предположить, что сам факт участия респондента в панельных исследованиях оказывает влияние на ответы, оценки и поведение индивидов. Рег Бейкер приводит пример исследования, проведенного компанией General Mills на основе построения двух выборок одной онлайн access-панели. Проблема оказалась в том, что в двух выборках были обнаружены прямо противоположные результаты. Исследователи General Mills предположили, что одним из наиболее значимых факторов, повлиявших на результаты, был опыт участия респондентов в панели: в выборке, в которой индивиды имели меньший опыт участия в опросах, отнеслись к тестируемой концепции положительно в противоположность второй выборке, в которой опыт участия респондентов в панели был более продолжительным [3].

Третья проблема видится в респондентах, некачественно заполняющих анкеты. Отсутствие фигуры интервьюера, который не только ведет интервью, но и проверяет искренность респондента на основе наблюдений за поведением опрашиваемого, приводит к введению технологических проверок за ответами респондентов в онлайн анкетах. В целом, по данным исследованиям Harris Interactive, около 75% респондентов допускают как минимум одну ошибку в опросе [4, p. 1]. Каким же образом можно убедиться, что респондент действительно читал вопросы и внимательно заполнял анкету, если нет фигуры интервьюера, выполняющего функцию визуального контроля над процессом заполнения анкеты? Данный вопрос и по сей день волнует многих заказчиков онлайн исследований.

Каковы основные решения в области качества данных в онлайн опросах, которые предлагают международные панельные провайдеры на сегодняшний день? В данной обзорной статье мы рассмотрим вопросы и предлагаемые решения, которые обсуждались на конференции CASRO (Council of American Survey Research Organizations) по онлайн панелям 2009 года. Мы рассмотрим основные методологические работы, представленные на конференции.

1. Методы повышения качества полученных данных

Отметим, что ответственным за качество данных в панельных онлайн исследованиях становится именно респондент — участник, отвечающий на вопросы исследователя. Насколько правильно сводить качество опросов к ответам респондентов и проблеме «карьеры» панелиста, не затрагивая обсуждения фундаментальных индикаторов качества данных и исследовательского инструментария, мы оставим за скобками данной статьи, ибо это требует написания отдельной работы. Мы лишь можем предположить, что тенденция сведения проверки качества данных к ответам респондента и его прошлой истории участия в опросах в методологии онлайн исследований функционально заменяет известный «эффект интервьюера» в личных опросах, когда ответственность за ошибки исследования перекладывается именно на эту фигуру.

Итак, первая ось пространства — проблема идентификации панелиста, которая с развитием практики подключения нескольких панелей для выполнения одного исследовательского проекта трансформируется в проблему дубликатов со следующей формулировкой: «Как избежать повторного заполнения анкеты в случае приглашения одного и того же респондента в нескольких панелях?» Исследовательской индустрией предлагаются технические решения. Одно из самых обсуждаемых решений в последнее время является технология digital fingerprinting, которая позволяет считывать ряд параметров с компьютера таким образом, чтобы у респондента не было возможности повторно заполнить анкету.

Вторая ось, являющаяся главным показателем качества данных, — это ответы респондентов. Одна из проблем, которую пытаются решить исследователи в онлайн опросах, — повышение мотивации респондентов к внимательному прочтению и заполнению анкет, длительность которых в среднем не бывает меньше 20 минут. Панельные провайдеры направляют свои усилия на повышение интереса респондентов к заполнению анкет, пусть даже самых длинных, утомительных и скучных.

На конференции были рассмотрены три основных способа увеличения вовлеченности респондентов в процесс заполнения анкеты:

— изменение структуры вознаграждения,

— включение проверочных утверждений и вопросов в анкету, повышающих внимание респондентов,

— изменение внешнего вида программируемых анкет.

Изменение структуры вознаграждения

Одна из самых интересных и оригинальных идей, озвученных на конференции, была посвящена материальным методам повышения мотивации респондентов и представлена Калин Карлин (Market Strategies International) и Шанам Эйдсанам (e-Rewards) в докладе «Структура вознаграждения панелистов» [5].

По словам К. Карлин и Ш. Эйдсона, достаточно много внимания исследователи уделяют методам идентификации респондентов, некачественно заполняющих анкету или несколько раз зарегистрировавшихся в панели. Однако при этом практически не затрагивают тему компенсационной структуры, используемой в панели, хотя ее следует рассматривать как один из эффективных инструментов управления мотивацией участников панели. Время заполнения анкеты является наиболее значимым и широко принятым фактором проверки качества онлайн данных. Если рассуждать от обратного, то на вопрос: «Как можно увеличить качество данных?» — один из очевидных ответов, который можно получить: «Мотивировать респондента тратить на заполнение анкеты больше времени и заполнять ее более внимательно».

Логика эксперимента заключается в следующем: следуя базовым предположениям теории справедливости, можно предложить респонденту размер вознаграждения, который будет зависеть от времени заполнения анкеты. Таким образом, предполагается, что следует, с одной стороны, зафиксировать временную шкалу, а с другой — шкалу вознаграждения и в приглашении к исследованию указать, какое вознаграждение предполагается начислить респонденту в зависимости от времени заполнения. Например, в проводившемся эксперименте исследователи предложили следующую шкалу:

16 минут и больше — $5 (в валюте e-Rewards),

14–15 минут — $4,50,

12–13 минут — $4,00,

10–11 минут — $3,50,

8–9 минут — $3,00,

6–7 минут — $2,50,

Менее 6 минут — $0,50.

Как только респондент переходил на анкету, он видел на экране таймер, показывающий время выполнения опроса. Контрольной группе (состоящей из 500 респондентов) был предложен стандартный формат с единым размером вознаграждения, а экспериментальной группе (также состоящей из 500 респондентов) была предложена ступенчатая форма вознаграждения в зависимости от времени заполнения опроса. Кроме того, в каждую группу включили подвыборку в100 панелистов, которые в предыдущих опросах были классифицированы e-Rewards как speedsters, т.е. респонденты, слишком быстро заполняющие анкеты.

Результаты исследования показали, что в экспериментальной группе участники тратили на заполнение анкеты больше времени (в среднем на 1,3 минуты), при этом различие оказалось статистически значимым на уровне p = 0,001. При этом различие сохраняется при отдельном сравнении подвыборки speedsters, так и группы non-speedsters (см. Таблицу 1).

[Таблица 1]

	Экспериментальная группа, время (в минутах)	Контрольная группа, время (в минутах)	Различие
Вся выборка
Среднее время	16,15	14,86	1,29 (значимо на уровне 0,001)
Медиана	15,00	13,18	1,82
Non-speedsters
Среднее время	17,00	15,83	1,17 (значимо на уровне 0,05)
Медиана	16,00	14,10	1,90
Speedsters
Среднее время	12,80	11,03	1,77 (значимо на уровне 0,05)
Медиана	12,43	9,32	3,11

Однако можно предположить, что стратегия премирования участников опроса стимулирует только лишь тактику затягивания ответа и не влияет на качество полученных ответов. Поэтому исследователи сравнили качество данных в обеих группах по следующим критериям:

— внутренняя надежность данных,

— внутренняя консистентность,

— ответы на табличные вопросы,

— ответы на открытые вопросы.

Внутренняя надежность проверялась по пулу утверждений относительно удовлетворенности респондентов качеством жизни. Применялась оценка надежности-согласованности данных методом расщепления пополам (первая часть утверждений была размещена в начале анкеты, вторая часть — в конце). Ответы респондентов в экспериментальной группе имели большую корреляцию между первой и второй частью утверждений по сравнению с контрольной группой. Кроме того, в контрольной группе оказалось немного больше респондентов, у которых дисперсия в ответах на проверяемые вопросы была больше двух стандартных отклонений: 3,8% в контрольной группе против 2% в экспериментальной. Однако отличия не являлись статистически значимыми.

Для определения консистентности полученных данных исследователи проверяли вопросы о знании и покупке брендов. Ответы считались внутренне неконсистентными в том случае, если панелисты отмечали бренд как незнакомый, но в то же время как тот, который они уже когда-то покупали. Только 20 панелистов дали неконсистентные ответы, 65,5% из которых были в контрольной группе.

Другим критерием проверки качества данных являются ответы на длинные табличные вопросы. Анкета содержала 20 табличных вопросов, в среднем состоявших из 7 утверждений. Исследователи подсчитали процент респондентов, которые по крайней мере в 11 из 20 вопросах отмечали в основном только одну колонку (так называемые straightliners): их оказалось 14% в экспериментальной группе и 17,9% — в контрольной. Различия были близки к статистически значимым (p = 0,054).

В конце опроса респондентов просили написать свое мнение об опросе. В экспериментальной группе осмысленные ответы дали 41,5% участников, в контрольной — 34,2%. Авторы резюмируют: несмотря на то, что по ряду критериев между группами получились статистически незначимые отличия, эксперимент может породить другие гипотезы, касающиеся использования компенсационной структуры как инструмента управления мотивацией панелистов.

Изменение структуры вознаграждения в зависимости от длительности интервью является достаточно новой для индустрии идеей, которая требует дальнейшей разработки и верификации, однако базовым для определения качества данных остается включение в анкету проверочных утверждений на внимание респондента, контрольные вопросы, а также вопросы-ловушки.

Включение проверочных утверждений и вопросов в анкету

Мелани Катрайт (DMS) в докладе «Дьявол в данных. Классификация респондентов» предлагает типологию респондентов на основании качества полученных данных [6]. Компания DMS провела опрос 6700 респондентов, качество данных в котором проверялось по следующим критериям:

1. Время заполнения анкеты: среднее время заполнения анкеты составило 17 минут, а респонденты, заполнившие опрос меньше чем за 9 минут, были классифицированы как speedsters.

2. Ответы в табличных вопросах: в анкете имелось два табличных вопроса с 10 и 16 утверждениями. Если респондент отмечал только одну колонку в одном табличном вопросе, он классифицировался как straightliner.

3. Надежность ответов проверялась следующим образом:

— в начале и конце анкеты респонденту задавался один и тот же вопрос о количестве детей до 18 лет, проживающих в домохозяйстве;

— респонденту давали оценить согласие с противоречивыми утверждениями: например, «Цена для меня более важна, чем бренд», «Бренд для меня более важен, чем цена».

4. Ответы на открытые вопросы.

5. Проверочные вопросы: ответ на утверждение таблице «Обозначьте Ваше положение в анкете, отметив колонку 3».

6. Подсчет процента отказов от ответов в вопросах для каждого участника.

Мелани Котрайт предлагает следующую типологию панелистов:

— «Идеальные» респонденты (29%) — респонденты, полностью прошедшие все процедуры качества. Как правило, это старшая возрастная группа, состоящая в основном из женщин.

— «Типичные» (40%) респонденты, которые не прошли по одному критерию. По социально-демографическим характеристикам эти респонденты схожи с группой «идеальных» респондентов.

— «Несовершенные» респонденты (27%) — не прошедшие по двум-трем критериям. Большую долю в данной группе занимают мужчины 18–24 лет.

— «Худшие» респонденты (4%) — не прошедшие процедуры качества по четырем и более критериям. По социально- демографическим характеристикам эти респонденты схожи с группой «несовершенных» респондентов.

Таким образом, профиль группы «худших» респондентов в США выглядит следующим образом:

— скорее мужчины, чем женщины;

— молодая возрастная группа;

— имеют доход ниже среднего;

— скорее не белое население США;

— большую долю составляют домохозяйства с детьми.

По результатам анализа полученных данных компания DMS приходит к выводу о том, каких процедур следует придерживаться для выявления недобросовестно заполненных анкет:

1. Проверять время заполнения опроса.

2. Вставлять в анкету простые проверочные утверждения, а также несколько противоречивых утверждений.

3. Подсчитывать процент отказов от ответа по каждому респонденту.

Если Мелани Котрайт ставит задачу выявления недобросовестных панелистов и удаления их ответов из базы данных, то Джефри Миллер и Джеми Бейкер-Прюит (Burke) в докладе «Использование вопросов-ловушек для уменьшения вероятности недобросовестного поведения панелистов» ставят вопрос более интересно, а именно: «Как с помощью ловушек мотивировать респондентов давать более осмысленные ответы на вопросы анкеты?» [7]. Главная функция вопросов-ловушек, по их мнению, должна заключаться не в том, чтобы найти респондентов, невнимательно заполняющих опрос, а, наоборот, в том, чтобы мотивировать респондентов внимательно отнестись к заполнению анкеты. Вследствие этого, предположили исследователи, ловушки следует давать в самом начале опроса.

Компания Burke провела опрос 1200 панелистов (октябрь, 2008). Помимо других вопросов анкета включала 109 табличных утверждений. В среднем время заполнения анкеты составило 17,5 минуты. Респонденты были случайным образом разделены на 4 группы:

1. Контрольная группа.

2. Первая экспериментальная группа с включением в начале анкеты табличного утверждения «Пожалуйста, отметьте 2 в строке, чтобы начать опрос».

3. Вторая экспериментальная группа с включением в анкету противоречивых утверждений.

4. Третья экспериментальная группа с включением в анкету просьбы исследователя внимательно заполнять анкету и давать осмысленные ответы.

Время заполнения анкеты в четырех группах практически не различалось. Респонденты, заполнившие анкету менее чем за 7 минут, классифицировались как speedsters: в контрольной ячейке их оказалось 10%, в первой экспериментальной группе («Отметьте ответ 2 в строке») — 5%, во второй экспериментальной группе — 7% и, наконец, в третьей экспериментальной группе — 8%.

Помимо того, что в первой экспериментальной группе опрос начинался с утверждения «Пожалуйста, отметьте 2 в строке, чтобы начать опрос», во всех группах в вопросах 40 и 83 в ряде утверждений давался следующий вопрос: «Обозначьте Ваше положение в анкете, отметив колонку 2». В контрольной ячейке процент респондентов, не отметивших 2 в двух вопросах, составил 18%, в первой экспериментальной группе их оказалось 8%, во второй экспериментальной группе — 15% и наконец, в третьей экспериментальной группе — 16%. Более того, результаты исследования показывают, что в первой экспериментальной группе 83% респондентов, неправильно отметивших ответ в вопросе-ловушке, не смогли пройти подобную ловушку в вопросе №40. Во второй экспериментальной группе 36% респондентов, давших противоречивые ответы, также не смогли пройти ловушку в вопросе №40.

Результаты эксперимента также показывают, что включение утверждения «Пожалуйста, отметьте 2 в строке, чтобы начать опрос» уменьшает процент респондентов, отмечающих одну колонку в табличных утверждениях (straightliners): 16% в контрольной ячейке, 10% — в первой экспериментальной группе, 12% — во второй экспериментальной группе, 13% — в третьей экспериментальной группе.

Наконец, на основе нескольких критериев авторы построили так называемый индекс обмана и выявили, что наиболее невнимательные респонденты были обнаружены в контрольной группе (14%), наименьшее — в экспериментальной группе №1 (9%).

Таким образом, резюмируют авторы, помещение нескольких вопросов-ловушек в самом начале опроса повышает внимательность и мотивацию респондентов к заполнению анкеты. Наиболее эффективным инструментом исследователи находят включение в анкету просьбы «Пожалуйста, отметьте ответ 2 в строке» в самом начале опроса. Менее эффективным — включение в анкету противоречивых утверждений. Практически неэффективным — просьбу исследователя внимательно заполнять анкету и давать осмысленные ответы.

По мере того как респонденты привыкают к однообразным HTML-анкетам, а исследователи создают все более длинные анкеты с сотнями табличных утверждений, панельные провайдеры приходят к выводу о том, что изменение визуального вида инструментария, а также Flash-программирование может намного повысить внимательность участников опороса.

Изменение внешнего вида программируемых анкет

Одним из признанных способов повышения мотивации респондентов к заполнению анкет является создание более привлекательного дизайна анкет. Этой тематике был посвящен доклад Дженнифер Дролет (iModerate Research Technologies), Эллис Батлер (M/A/R/C Research) и Стива Дэвиса (e-Rewards) «Фактор усталости от опроса: Насколько важно восприятие респондентом длины анкеты?» [8]. Исследователи провели 30-минутный опрос 1132 панелистов, 50% из которых показывалась стандартная анкета, другим 50% — более интересная и легко заполняемая анкета.

Исследователи сравнивали поведение панелистов, а также их комментарии и оценки относительно следующих различий в дизайне анкеты:

— Статичные окошки vs Появляющиеся окошки

— Табличный вопрос vs Сортировка логотипов (drag and drop)

— Длинные таблицы vs Короткие таблицы

— Табличная оценка (традиционная шкала) vs Слайдер

Статичные окошки vs Появляющиеся окошки

В вопросе «Какие фастфуд-рестораны Вы можете вспомнить?» исследователи предложили два способа представления окошек для вписывания ответов: 10 статичных окошек в первом варианте анкеты (так называемой «традиционной») и окошки, которые появляются только после написания предыдущих ответов (например, второе окошко появляется только после того, как респондент вписал ответ в первое и т.д.). Однако в первом варианте анкеты респонденты написали в среднем больше ресторанов: 7,1 против 5,2 при одинаковой степени удовлетворенности вопросом.

Табличный вопрос vs Сортировка логотипов (draganddrop)

Ответы на вопрос «Когда Вы в последний раз посетили каждый из следующих ресторанов?» в первом варианте анкеты были представлены в виде стандартных колонок («За последние 4 недели», «В течение последних 1–3 месяцев», «В течение последних 4–12 месяцев», «Больше года тому назад»), во втором варианте анкеты — в качестве «корзинок», в которые складывались логотипы тестируемых ресторанов. Полученные данные практически не различались, однако степень удовлетворенности от заполнения анкеты во второй группе была значительно выше.

Длинные таблицы vs Короткие таблицы .

Сравнивая ответы, которые дали респонденты при размещении 21 утверждения на одном экране и при их делении на 3 экрана по 7 утверждений, практически не наблюдали различий между данными, а также между степенью удовлетворенностью от заполнения анкеты. Однако выявили, что в случае коротких таблиц респондент более качественно заполняет анкету (меньше так называемых straightliners).

Табличная оценка (традиционная шкала) vs Слайдер

Сравнивая традиционную шкалу и слайдер, исследователи делают вывод, что даже при отсутствии статистически значимых различий между полученными результатами респонденты находят более привлекательными и интересными слайдеры.

В конце опроса респондентам предлагалось оценить, насколько длинной и интересной им показалась анкета. Несмотря на то, что во второй группе больше респондентов оценило анкету как «очень длинную» (57% против 50% в первой группе), в то же время респонденты оценили ее и как интересную (51% против 33% в первой группе).

Таким образом, управление вознаграждением, включение проверочных вопросов, а также изменение дизайна анкет являются наиболее обсуждаемыми методами повышения качества полученных данных в области онлайн исследований. Однако другая проблема, которая стоит перед онлайн панелями в западных странах, — наличие «профессиональных» респондентов. Одно из предлагаемых решений в данном случае — построение выборок, включающих не только онлайн панели, но и другие источники, например выборки, набираемые в режиме реального времени (river sampling). Рассмотрим это далее в работе.

2. Построение эффективных выборок, или проблема «профессиональных» респондентов

Второй блок представленных исследований был посвящен вопросу новых типов источников онлайн выборки и построению эффективных выборок посредством совмещения нескольких источников рекрутирования респондентов.

Стивен Джиттельмен (Mktg.Inc.) в докладе «По дороге к ясности: различия между источниками выборки» сравнил между собой результаты одного исследования, проведенного на основе опроса 14 панелей, одной социальной сети и 3 выборок, набираемых в режиме реального времени (river sampling) [9]. Исследователь, проанализировав полученные результаты, утверждает, что онлайн панели смещены в сторону «профессиональных» респондентов, определяемых следующим образом:

— респонденты, принимающие участие в онлайн исследованиях практически каждый день;

— респонденты, которые в открытых вопросах признаются, что заполнили более 30 анкет за последний месяц;

— респонденты, являющиеся участниками более 5 панелей.

Исследователей рынка волнует основной для индустрии вопрос: каким образом характеристики респондентов влияют на покупательское поведение? Какие поведенческие паттерны присущи тому или иному источнику онлайн выборки? И наконец, каким образом можно построить «эффективную» выборку? С. Джиттельмен приходит к выводу, что оптимальную выборку при минимизации ошибки опроса на основании переменной «уровень образования» и количества источников выборки можно построить следующим образом:

40% — выборка в режиме реального времени,

40% — панель №1,

20% — панель №2 из 14 тестируемых.

Если С. Джиттельмен не включает в итоговую выборку респондентов, рекрутируемых из социальных сетей, то Ани Пти (Ipsos Interactive Services) и Сайман Чедвик (Peanut Labs) в докладе «Социальные сети как дополнительный источник выборки в маркетинговых исследованиях» утверждают, что посредством социальных сетей исследователь получает возможность опросить «непрофессиональных» респондентов, имеющих низкий уровень откликов в онлайн панелях (например, молодые мужчины в возрасте 18–24 лет), а также в связи с развитием узкоспециализированных сетей — возможность опросить труднодостижимые группы в кратчайшие сроки [10].

Кристин Люк (Decipher) в докладе «Эффективные стратегии для управления проектами с несколькими источниками онлайн выборки» рассматривает достоинства и недостатки каждого типа выборки [11]. В качестве плюсов традиционных панелей можно выделить широкие возможности рекрутинга и профилирования участников. В качестве очевидного минуса — репрезентацию не более 10% населения США. Широкий охват и наличие «непрофессиональных» респондентов являются достоинствами опросов участников онлайн сообществ и выборок, набираемых в режиме реального времени. Однако при использовании данных типов выборки проблемы возникают с таргетингом в связи с отсутствием профильной информации.

Несмотря на пока относительно низкую популярность привлечения нескольких источников выборки, связанную прежде всего с организационными сложностями и увеличением стоимости поля, индустрия, по мнению К. Люк, будет постепенно отходить от использования одного типа выборки (в основном традиционных панелей) к использованию нескольких источников. Это связано не только с появлением профессиональных респондентов, но и с проблемой эффекта «созревания» панелистов. Эффект определяется провайдерами как временное влияние на ответы респондентов, которое может быть зафиксировано в онлайн опросах, проводимых по одной теме. В этой связи многие компании вводят временные периоды «карантина» и исключают из выборки респондентов, которые участвовали в исследовании в той же тематической категории за определенный период времени. Как это влияет на качество данных — рассмотрим далее.

3. Вопросы качества данных и управления полевым проектом

Третий блок представленных работ был посвящен вопросам управления проектом. В нем можно выделить следующие темы:

— локауты, или временные периоды «карантина»;

— оптимальное время для проведения полевых работ: нет ли смещения в результатах опроса, если поле проходит в течение 48 часов?

Филипп Гарланд (SSI), Дебра Сантас и Рена Уппал (Ipsos Interactive Services) в докладе «Локауты: не слишком ли мы предусмотрительны?» рассматривают как несоблюдение локаутов может влиять на качество полученных данных [12].

Многие панельные провайдеры вводят временные периоды «карантина» и исключают из выборки респондентов, которые участвовали в исследовании в той же тематической категории. Какова может быть цена локаутов? Во-первых, они порождают негативный опыт в той степени, в которой панелисты получают меньшее количество приглашений. Во-вторых, они уменьшают количество подходящих под критерии опроса респондентов, соответственно, уменьшают возможное количество набранных интервью.

Исследователи из SSI и Ipsos Interactive Services задают два основных вопроса:

— Действительно ли локауты помогают улучшить качество данных, а несоблюдение временного «карантина» является источником ошибки?

— Если следует вводить «карантин», то какой временной период должен быть утвержден?

Для ответа на эти вопросы исследователи провели эксперимент с тремя экспериментальными и одной контрольной группой. Все респонденты рекрутировались посредством случайного телефонного опроса (RDD) и опрашивались через Интернет. В контрольной группе опрос проводился один раз, в экспериментальных группах один и тот же опрос проводился с разной частотой на протяжении 5 недель. В экспериментальной группе №1 опрос проводился раз в неделю, группе №2 — два раза в неделю, группе №3 — раз в месяц.

Проанализировав результаты эксперимента, исследователи не обнаружили статистически значимых различий между группами как в вопросах о знании продуктов, потребительском поведении (пользование брендами, продуктами), так и в вопросах медиапредпочтений и социально-политических установок. Проверив влияние участия в опросах на валидность и надежность данных, исследователи выявили, что коэффициент альфа Кронбаха оказался немного ниже в экспериментальных группах 1 и 2, что свидетельствует об уменьшении надежности данных при увеличении частоты участия в одном и том же опросе. Кроме того, в экспериментальных группах оказалось немного больше ответов «Затрудняюсь ответить» и отказов от ответа. Однако несмотря на это Филипп Гарланд, Дебра Сантас и Рена Уппал не получили доказательств того, что несоблюдение локаутов влияет на ответы респондентов и качество полученных данных.

Дон Эмброуз и Кэри Муайер (Consumer Contact) в докладе «Запоздавшие респонденты: влияют ли они на данные?» рассматривают, как отведенное время на полевые работы влияет на полученные данные [13]. Исследователи провели эксперимент с контрольной группой, в которой поле продолжалось на протяжении 10 дней, и экспериментальной группой, в которой поле длилось в течение 48 часов. Авторы делают выводы, что в целом респонденты не различались по региону и полу, однако немного различались по возрасту. Последнее можно контролировать посредством введенных квот или применения взвешивания. Главный вывод работы — данные, полученные за 48 часов, — статистически значимо не отличаются от данных, полученных за 10 дней. «Если поле проходит дольше 2–3 дней, это не улучшает качества полученных данных», — заключают Дон Эмброуз и Кэрри Муайер.

Итак, результаты исследований показывают: нет доказательств того, что введение локаутов, а также увеличение времени для проведения полевых работ увеличивают качество данных в онлайн опросах.

Заключение

Что ожидает маркетинговую индустрию онлайн исследований в ближайшем будущем? Участники CASRO предполагают, что будущее — за мобильными онлайн панелями, за построением онлайн выборок, состоящих из разных источников рекрутирования, за множеством технологических новаций, которые позволят идентифицировать повторное или невнимательное заполнение опроса респондентом, за более красивым дизайном онлайн анкет и, хотелось бы в это верить, за более интересным исследовательским инструментарием.