Маркетинг - Реклама - Пиар

новости, стратегии, методы, книги, теория и практика

Воздействие интерактивных элементов инструментария на качество данных и удовлетворенность респондентов онлайн опросов


Некрасов Сергей Игоревич (Online Market Intelligence)

Современные информационные и сетевые компьютерные технологии, переводя на новый уровень возможности работы с информацией, производят существенные изменения во всех отраслях знания, в том числе и в маркетинговых исследованиях. Так, компьютерно-опосредованные технологии открывают новые возможности для проведения эмпирических исследований, меняя нынешние представления о доступности респондентов, количестве затрачиваемых на исследование ресурсов, возможности модификации инструментария и т.д. Если еще пару десятилетий назад компьютеры использовались преимущественно для анализа уже собранных данных, то сейчас этот этап далеко не единственный, где проникновение компьютерных технологий является привычным. В этой связи можно обратиться к различным автоматизированным и полуавтоматизированным инструментам сбора данных, например: 1) телефонный опрос с помощью компьютера (CATI); 2) личное интервью с использованием компьютера (CAPI); 3) самозаполняемая при помощи компьютера анкета (CSAQ) и др.

Исследование, проведенное автором данной работы на базе компании OMI, посвящено современным мировым тенденциям в области онлайн опросов, переводящих использование компьютерно-опосредованных технологий на новый уровень. Связано это с общей тенденцией увеличения «собственно онлайновой» фазы в маркетинговых (социологических и т.д.) исследованиях: все больше этапов современного маркетингового исследования проводится с использованием компьютера и веб-сети. Эта закономерность на сегодня однозначно прослеживается на Западе. В современной России мы уже можем наблюдать аналогичную тенденцию: доля онлайн опросов стремительно увеличивается, хотя, разумеется, их проведение еще вряд ли возможно назвать нормой.

В чем причина столь быстрого распространения онлайн опросов? По большому счету, вопрос этот является риторическим: их основные преимущества хорошо известны уже достаточно давно. Одной из наиболее разработанных общепринятых классификаций сильных сторон онлайн опросов является схема, предложенная Дж. Уоттом [1], где упоминаются такие критерии, как скорость, стоимость, простота создания, скорость модификации и др. (см. рисунок 1). С точки зрения этого автора, наилучшие показатели по всем приведенным критериям не просто у онлайн опросов, среди которых можно выделять несколько видов, но у «Специальных систем для проведения онлайн опросов». Эти системы охватывают и автоматизируют практически все этапы исследования, проводимые с их помощью.

Рисунок 1. Основные преимущества онлайн опросов по Уотту*

Рассылка анкет по Е-mail Доработанные CATI системы Доработанные диск-по-почте системы Веб CGI программы** Системы для онлайн опросов
Простота создания и внесения изменений 5 3 4 2 5
Простота доступа к предварительным результатам 2 3 4 5*** 5
Контроль квот в выборке 2 5 3 5*** 5
Проверка валидности данных 2 4 4 5*** 5
Требование внимания респондента 5 4 4 4 4
Персонализация опросников 3 3 2 5*** 5
Изменения существующего опросника 3 5 4 4 4
Уровень специальной подготовки, необходимый создателю опросника 5 3 4 2 4
Стоимость создания и проведения 5 3 3 2 4 — 5

* Оценка производится по 4-балльной шкале, где 5 — отлично, 2 — плохо. ** Создаваемые под каждую анкету «с нуля». *** Требует дополнительного программирования.

На первый взгляд не менее однозначно дела обстоят и с недостатками онлайн опросов: главный из них заключается в сложностях обеспечения репрезентативности выборки. Именно решению этого вопроса и посвящена значительная часть теоретических и эмпирических работ в данной области.

Тем не менее наряду с повсеместным ростом компьютеризации и быстрым темпом распространения онлайн опросов изменяются и те элементы их методического обеспечения, которые получают внимание исследователей. Обеспечение только лишь репрезентативности было и является, безусловно, оправданным в электоральных опросах, где переход в онлайн использовался главным образом с целью повышения скорости, при практически полном переносе макета опроса на экран в «бумажном виде» [2]. Однако с выходом маркетинговых исследований в онлайн, сопряженным с необходимостью программирования длинных и сложных для респондента анкет, все больше внимания уделяется еще и вопросу воздействия ситуации переноса опроса в среду Интернет на качество данных онлайн опросов. По сути, речь идет о том, насколько различаются данные оффлайновых и онлайн опросов при разном способе реализации последних. Ведь контакт с интервьюером или «бумажной» анкетой полностью заменяется взаимодействием в рамках интернет-среды. Поэтому стоит говорить о «дизайне» онлайн опроса в широком смысле слова как о факторе, воздействующем на качество получаемых данных.

В результате анализа существующих подходов к организации онлайн опросов автором данной работы было предложено в свете рассматриваемой проблематики выделять два основных подхода (см. рисунок 2). В первом из них — информационном — компьютерные технологии предстают исключительно как информационный канал, способ доступа к респонденту. Такой взгляд однозначно доминирует в электоральных опросах и приводит к «бумажному» взгляду на требования к инструментарию. То есть к попытке максимально приблизить вид электронной анкеты к традиционной «бумажной». В рамках второго подхода — виртуального — наоборот, основной акцент делается на адаптации инструментария к интернет-среде и обеспечении за счет этого повышения качества собираемой информации. Инструментарий такого типа мы называем «интерактивным», т.к. он не мог бы быть реализован на бумаге, а может существовать только в качестве динамических интерактивных элементов веб-среды.


Рисунок 2. Подходы к организации онлайн опросов

Обратившись к современным западным работам, посвященным маркетинговым и социологическим онлайн исследованиям, можно отметить значительный рост интереса к проектированию инструментария онлайн опроса (см., например, работы таких авторов, как Манфеда [3], Купер [4; 5], Диллман [6], Буккер [7], Слип [8] и др.). Однако, как и в любой относительно новой теме, в этой области не хватает систематизации и полноты охвата различных ее аспектов. Русскоязычных работ, рассматривающих вопрос дизайна онлайн опроса как элемента веб-среды, практически нет. Соответственно о полноценном осмыслении специфики использования того или иного инструментария для онлайн-опросов в России обоснованно говорить пока невозможно.

Поэтому в данной работе мы предлагаем рассмотреть результаты собственного исследования, посвященного изучению воздействия интерактивного инструментария на качество данных онлайн исследований, а также те практические выводы, которые были получены на его основе. При этом главной целью проведенного исследования была проверка гипотезы о позитивном воздействии интерактивного инструментария на качество данных онлайн опроса.

Элементы онлайн опросника: учет специфики онлайн среды

Для того чтобы выяснить, влияет ли интерактивный инструментарий на качество данных онлайн опроса, необходимо: 1) выделить те элементы макета опросника, в которых возможен учет специфики онлайн среды, 2) определить некоторые критерии качества данных опроса.

Для выделения элементов макета опросника мы обратились к классификации дизайна веб-опросников в исследовании К. Манфреды, З. Батагела и В. Веховара [3]. Они предложили рассматривать такие элементы, как графическая схема (graphic layout), форма презентации вопросов (presentation of questions) и количество вопросов на странице (the number of questions per page). Основываясь на тех рекомендациях, что предлагают авторы этой концепции, а также с учетом собственного опыта планирования схемы онлайн опроса мы несколько дополнили предложенную схему, получив в итоге следующую классификацию элементов опросника, в которых может отражаться принцип интерактивного инструментария:

1. Логика построения и схема его представления на экране:

a. Месторасположение вопросов на экране, принципы их выравнивания;

b. Количество одновременно выводимых на экран вопросов;

c. Возможность и легкость перехода между вопросами для респондента;

d. Наличие, вид и объем справки для респондента, которой можно воспользоваться в ходе опроса.

2. Форма используемых вопросов:

a. Основные типы используемых вопросов: закрытые/открытые; радио- и чек-кнопки, ролевые схемы и т.д.;

b. Способ организации вопроса. (Например, табличный вопрос можно представить в стандартном виде, как таблицу, а можно по drag-and-drop схеме.)

3. Цветовое оформление и графические элементы анкеты и отдельных вопросов:

a. Логотипы и пиктограммы, сопровождающие вопросы;

b. Использование анимации: как для схемы формата вопроса (например, полевой или drag-and-drop), так и для справки, сопроводительных логотипов и т.д.;

c Использование мультимедиа: аудио- и видеоэлементов.

Качество данных онлайн опроса

Исходя из основной гипотезы нашего исследования, предполагалось, что варьирование составляющих макета онлайн опроса может сказаться на изменении качества получаемых данных. При этом при определении понятия качества мы исходим из общепринятого применительно к онлайн опросам списка параметров данных (см., например, [3; 5; 9] и др.), которые при этом прямо восходят к стандартной классификации источников систематических ошибок. Единственный элемент, который был нами исключен, — это ошибка выборки. Такое решение связано с целью исследования, при которой выборка и ее организация не являются анализируемым фактором. В результате под качеством данных онлайн опроса нами будут пониматься:

1. Ошибка неответов (non-response error):

1.1. Незавершенный опрос (partial non-response)13.

1.2. Пропущенные вопросы (item non-response); т.к. в большинстве современных опросников, пропустив вопрос, нельзя перейти к следующему, в данную категорию иногда относят количество выбранных вариантов «затрудняюсь ответить», а также неприемлемых ответов (например, случайные буквенные сочетания вместо ответа на открытый вопрос).

2. Ошибка измерения (measurement error) как отклонение полученных ответов от их реального значения:

Общие требования валидности и надежности.

«Правдоподобие» ответов:

– Выявление заведомо ложных данных (например, введенных не в том формате).

– Отсев спидстеров (респондентов, время прохождения опроса которыми слишком мало для сознательного заполнения анкеты).

3. Удовлетворенность пользователей и ее связь с ошибками неответов и измерения

Прямые оценки: на основе вопросов о том, насколько им понравился этот опрос (часто добавляют в конце опроса).

Косвенные оценки:

– Время, потраченное на опрос в целом и на отдельные вопросы.

– Количество символов в ответах на открытые вопросы.

– Ответы на необязательные для заполнения вопросы.

Из всех приведенных параметров качества данных отдельного пояснения заслуживает включение удовлетворенности респондентов в этот список. Отметим, что понятие «удовлетворенности» в данном случае отнюдь не является абстрактной характеристикой. Наоборот, оно прямо связано с остальными двумя критериями, а иногда и является существенной причиной их низкого уровня. Так, слишком длинный или монотонный опрос может привести к простому «пролистыванию» вопросов и заполнению их случайным образом. Причем, как мы полагаем, достаточно одного подобного негативного опыта, чтобы в дальнейшем респондент был склонен вести себя схожим образом. Хотя, разумеется, сама удовлетворенность респондента формируется не только на рассматриваемом в данной работе этапе опроса, однако ее уровень согласно нашим предположениям может быть полностью сформирован самим процессом опроса в веб-среде.

Описание схемы эксперимента

Эксперимент, который был нами проведен, включал опрос 432 жителей городов-миллионников в возрасте от 16 до 44 лет.

При планировании схемы эксперимента мы исходили из трех основных мотивов.

Во-первых, необходимо максимально использовать результаты уже проведенных тестов в данной области [см. 3; 6; 8 и др.].

Во-вторых, нужно реализовать такую схему эксперимента, по результатам которой можно было бы делать обоснованные выводы о разном (или одинаковом) уровне качества данных с использованием или без использования интерактивного инструментария. В итоге в качестве такой схемы нами была выбрана модель дисперсионного анализа (в рамках общей линейной модели, general linear model).

Наконец, в-третьих, необходимо позаботиться о том, чтобы экспериментальные данные были получены на основе работы с полноценными, жизнеспособными системами онлайн опросов, а не просто с некими индивидуально запрограммированными анкетами.

Последний пункт, пожалуй, требует отдельного пояснения. По большому счету, казалось бы, ничто не мешало нам провести эксперимент на основе индивидуально запрограммированных в единственном экземпляре анкет двух разных типов (с интерактивным инструментарием и без него), а затем сравнить результаты. Однако, возвращаясь к классификации основных преимуществ онлайн опросов по Уотту (см. рисунок 1), мы бы хотели еще раз подчеркнуть различие между «системами для проведения онлайн опросов» и индивидуально запрограммированными анкетами. Последние позволили бы проводить экспериментальное сравнение на «идеальных типах» онлайн опросников, в которые можно заложить любые параметры. Однако при таком решении мы бы упустили, что перед нашим исследованием были поставлены и практические задачи. Работа с прямым программированием анкет не позволила бы обоснованно оценить трудоемкость и степень пригодности для «систем онлайновых опросов» отдельных элементов нашего инструментария. В то же время, именно говоря о системе опросов, мы можем сохранить очень значимые преимущества онлайн опросов, которые отмечаются в любой работе, их затрагивающей: это скорость, стоимость, возможность модификаций и т.д. Никакие преимущества в качестве или удовлетворенности респондентов не могли бы рассматриваться как «значимые» для улучшения схемы онлайн опросов, если бы они привели к отказу от общепринятых преимуществ.

В итоге в качестве первого исследуемого фактора нами был выбран способ технической реализации онлайн опросника: 1) стандартный, написанный на html опросник, который соответствовал бы «бумажному» инструментарию; 2) Flash опросник, позволяющий легко интегрировать любые графические и мультимедийные элементы и соответствующий интерактивному инструментарию. При этом первая модель — html — была реализована на одной из самых используемых в мире систем для маркетинговых опросов (Net-MR от компании GMI). Вторая — на собственной платформе для Flash опросов, которая была подготовлена автором данной статьи. Отметим, что система, разработанная нами, прошла к моменту тестирования более десятка коммерческих запусков для проведения маркетинговых исследований и по всем уровням — трудоемкости, скорости, гибкости и т.п. — оказалась сравнима с известными нам международными аналогами.

В дополнение к техническому способу реализации опросника мы добавили еще один фактор — использование или неиспользование логотипов и изображений в анкете. Связано это с гипотезой о том, что в обычных оффлайновых опросах изображения и логотипы принято использовать либо в виде отдельных карточек, либо в анкете, когда сами изображения являются частью инструментария или тестируемым объектом. Мы предполагаем, что в веб-среде различные сопровождающие текстовое содержание изображения являются «нормой» и поэтому имеет смысл проверить воздействие их присутствия на данные опроса14. Наша гипотеза, как и в случае с интерактивным инструментарием, заключалась в ожидании положительного воздействия на качество данных от использования графических элементов в анкете.

Таким образом, в эмпирическом исследовании сравнение различных опросников проводилось нами на основе данных четырех опросов, выполненных по одной и той же по содержанию анкете. При этом общая выборка была случайно разбита на четыре части с соблюдением равного представительства респондентов по полу и возрасту внутри групп. Респонденты из каждой группы (подвыборки) участвовали в опросе, выполненном по одной из следующих схем:

1. html без логотипов;

2. html с логотипами;

3. Flash без логотипов;

4. Flash с логотипами.

Что касается соотнесения выбранной схемы эксперимента с теми исследованиями, что нам удалось обнаружить в литературе, то отметим следующее: единственными авторами, из тех, которых нам удалось найти, публикующими результаты методических исследований графических элементов в онлайн опросах, полученных с полноценной статистической оценкой, были М. Купер, М. Трауготт и М. Лэмиас (см, например, [5]). Однако стоит отметить, что в фокусе их анализа была фактически проверка работы уже известных для традиционных опросов закономерностей и способов составления анкеты в онлайн среде. Так, изучение табличных вопросов и выгодности их использования в онлайне осуществлялось на основе сравнения таблиц с одной стороны и серии простых вопросов — с другой. Т.е. авторы в первом случае задавали табличный вопрос, а во втором — разбивали его на столько простых, сколько строк в таблице (при условии одного ответа в строке). Вывод, который в таком случае был сделан, по большому счету, сводится к заключению о выгодности использования таблиц и в онлайне тоже.

При выборе собственного экспериментального плана мы пошли несколько дальше: скажем, на примере тех же табличных вопросов, цель нашего тестирования заключается в сравнении различных форм их представления, в том числе с привлечением интерактивных элементов и метода drag-and-drop.

С графическими элементами ситуация во многом схожа: по-настоящему интересные с практической точки зрения работы (и по актуальности решаемых задач) встречаются редко и только в иллюстративных маркетинговых статьях (см., например, [8]). В них же, как известно, слабая сторона — это не сомнение в получаемых выводах, а скудность описания и обоснования схемы эксперимента. Кроме того, даже в подобных статьях нам не удалось обнаружить серьезного сравнения флэш анкет с обычными.

Что касается проверки различий в качестве данных и уровне удовлетворенности респондентов, то здесь мы, опираясь на технические возможности Flash платформы, использовали следующие критерии для сравнения с html опросами (зависимые переменные в экспериментальном плане):

1. Время заполнения анкеты в целом;

2. Время заполнения отдельных (контрольных) вопросов;

a. Табличных;

b. Открытых;

3. Успешность преодоления «ловушек» на внимательность прочтения вариантов ответа к вопросу (см. описание используемого для сравнения показателя ниже);

4. Количество символов в открытых вопросах;

5. Количество выбранных вариантов ответов в вопросах с множественным выбором;

6. Прямые оценки удовлетворенности респондентов различными аспектами опроса:

a Графическим оформлением анкеты;

b. Темой опроса;

c. Длиной опроса;

d. Опросом в целом.

Основные результаты

1. Интерактивный инструментарий и время заполнения анкеты

Первый же критерий для сравнения четырех проведенных нами опросов (время заполнения анкеты) показал, что использование современных интерактивных методик в сочетании с логотипами и изображениями, делающими вопросы анкеты более наглядными и простыми для понимания, влияет на данные онлайн опросов.


Рисунок 3. Среднее время на опрос в целом (секунд)

Как можно видеть на рисунке 3, среднее время, затрачиваемое респондентами на опрос в целом, сокращалось наряду с увеличением количества интерактивных элементов. Результаты двухфакторного дисперсионного анализа при этом показали значимость только первого фактора — технология Flash против html (FW32 = 6,655; p = 0,010). Т.е. опросники, выполненные на основе технологии Flash, позволяли респондентам проходить ту же самую анкету в среднем на 20–30% быстрее. Такая разница во времени заполнения выглядит особенно существенной, если добавить, что в показателях затрат времени уже заложено и время загрузки страниц анкеты, а оно при прочих равных всегда несколько больше при наличии интерактивных элементов.

В целом мы ожидали, что различия во времени так или иначе проявятся. При этом направление связи между временем заполнения и качеством данных требует дальнейшего эмпирического исследования.

2. Воздействие формы вопроса на качество данных: альтернативы стандартным табличным вопросам

Воздействие формы представления вопроса на качество данных мы проверяли на основе пяти табличных вопросов, заложенных в анкете: четыре из них были «классические», т.е. с возможностью выбора одного ответа в строке; еще один — с возможностью выбора нескольких ответов по каждому из тестируемых в вопросе объектов. В html опросниках все таблицы были выполнены в традиционном «бумажном» виде. Во Flash анкетах использовался интерактивный подход и табличные вопросы задавались с использованием метода drag-and-drop. Такая схема позволила нам сравнивать результаты одних и тех же по содержанию вопросов, но заданных в разной форме.

2.1. Табличные вопросы с одним ответом в строке

В качестве интерактивной альтернативы «классическим» табличным вопросам мы использовали вариант вопроса, где оценка исследуемых объектов могла осуществляться как «перетаскиванием» (метод drag-and-drop), так и «кликом» на соответствующий объект. Визуальная реализация табличных вопросов представлена на рисунках 4–7.


Рисунок 4. Табличный вопрос. Вариант HTML


Рисунок 5. Табличный вопрос. Вариант HTML


Рисунок 6. Табличный вопрос. Вариант Flash с логотипами


Рисунок 7. Табличный вопрос. Вариант Flash с логотипами

Обратившись к результатам анализа временных затрат на табличные вопросы (см. рисунок 8), можно заметить, что, как правило, добавление интерактивных элементов приводит к снижению времени, затрачиваемому на вопрос. Дисперсионный анализ показал, что значимыми оказываются различия между Flash опросником и html вариантом (F4>425 = 3,022; p = 0,018) и всегда в первом случае время значимо меньше (что полностью согласуется с показателями затрат времени на опрос в целом).

Рисунок 8. Среднее время заполнения табличных вопросов (секунд)

Вопрос 1 Вопрос 2 Вопрос 3 Вопрос 4
html без логотипов 140,67278 224,92593 150,71361 192,31083
html с логотипами 157,77657 123,87204 165,63343 73,26630
Flash без логотипов 106,53707 138,63131 71,26119 126,06499
Flash с логотипами 129,51899 172,49644 71,50435 126,80157

Для оценки качества ответов в два из пяти табличных вопросов мы добавили вариант ответа, проверяющий внимание респондента, а именно — насколько внимательно он читает варианты ответа на вопрос. Этот момент особенно актуален в случае, когда количество строк в табличном вопросе больше 12–15 и используется для выявления спидстеров — респондентов, склонных к быстрому заполнению анкеты без внимательного прочтения формулировки вопроса и вариантов ответа. Вариант для проверки внимания, например, в одном из тестовых вопросов нашей анкеты был сформулирован так: Это высказывание для проверки Вашего внимания. Пожалуйста, выберите для него вариант «Полностью согласен». Соответственно предполагалось по итогам опроса сравнить показатель качества, рассчитанный на основе этих двух ловушек, и соотнести его со временем заполнения этих же табличных вопросов.

Проверку качества ответов на «варианты-ловушки» мы проводили следующим образом. Использовалось три показателя: первые два относились соответственно к каждой из двух ловушек. То есть в первых двух случаях каждый респондент получал индекс 1 или 0 в случае, когда он успешно преодолел или не преодолел каждую ловушку. Третий был суммой первых двух и, следовательно, мог принимать значения 0, 1 или 2.

По результатам сравнения всех четырех подвыборок по третьему (суммарному) показателю преодоления ловушек значимых различий выявлено не было. (Использовался тест Краскела — Уоллиса, p = 0,136). Следовательно, можно сделать очень важный в свете темы данной работы вывод: по мере роста скорости заполнения анкеты (т.е. при использовании интерактивного инструментария) увеличения доли ошибок по невнимательности не происходило.

Табличные вопросы с возможностью множественных ответов

Отдельно мы хотели бы рассмотреть результаты тестирования интерактивного инструментария применительно к самому сложному из используемых в нашей анкете вопросу — табличному с возможностью множественного выбора. В данном вопросе респонденту предлагалось оценить семь брендов по 18 характеристикам (см. рисунки 9–12). При этом количество характеристик, отнесенных к каждому отдельному бренду, могло варьироваться в пределах от 1 до 18.


Рисунок 9. Табличный вопрос с возможностью множественного выбора. Вариант HTML


Рисунок 10. Табличный вопрос с возможностью множественного выбора. Вариант HTML с логотипами


Рисунок 11. Табличный вопрос с возможностью множественного выбора. Вариант Flash


Рисунок 12. Табличный вопрос с возможностью множественного выбора. Вариант Flash с логотипами

Первое, с чего мы начали анализ, это сравнили среднее количество ответов в исследуемых группах. В итоге во флэш анкетах, где данный вопрос был выполнен в виде модели с перетаскиванием, среднее количество ответов оказалось почти в два раза меньше, при больших затратах времени (см. рисунок 13).

Рисунок 13. Показатели для табличного вопроса с возможностью множественных ответов

Среднее количество

ответов

Среднее время, потраченное на вопрос в целом (секунд) Среднее время на один ответ (секунд)
html без логотипов 26,91 166,57185 7,9555
html с логотипами 30,65 109,74187 4,7983
Flash без логотипов 17,87 185,41411 13,7239
Flash с логотипами 16,93 163,28340 12,0805

В соответствии со значимыми различиями во времени ответа на вопрос и в количестве выбранных вариантов ответа мы сравнили также и среднее время, затраченное респондентом на каждый ответ. В результате, как и ожидалось, значимые различия между Flash и html опросниками были выявлены и здесь (F3428 = 2,892, p = 0,035).

Как можно было бы проинтерпретировать столь заметную разницу в среднем количестве ответов? С одной стороны, количество ответов при использовании Flash опросника оказалось значимо меньше, чем в обычной таблице, и на первый взгляд это скорее минус, чем плюс. Однако стоит отметить следующее: в опросе участвовали респонденты, ранее неоднократно принимавшие участие в онлайн опросе. Поэтому классический табличный вопрос для них совсем не нов, так как используется он довольно часто. При этом в абсолютном большинстве случаев обязательным условием ответа на такой вопрос является минимум один ответ в строке. В нашем же случае, когда оценивались бренды, они были расположены в столбцах, и именно один ответ в столбце был необходимым минимумом (столбцов было 7, а строк 19). Глядя на очень маленькое среднее время, затрачиваемое на каждый ответ респондентом в случае обычного типа табличного вопроса, можно предположить, что стремление дать ответ в каждой строке у части респондентов сыграло роль в уровне среднего количества ответов. Если это действительно так, то в данном случае относительно новая модель, где нельзя просто «пройтись по всем строкам», а необходимо выбирать и «перетаскивать» подходящие характеристики к некоторым брендам, дает даже более достоверные результаты. Однако стоит подчеркнуть, что эта наша интерпретация носит гипотетический характер и требует дальнейших исследований.

Ответы на открытые вопросы и уровень удовлетворенности респондентов

В анкете, которую мы использовали для проведения эксперимента, было два открытых вопроса: один практически в самом начале, другой — в конце. Анализ результатов по первому из них не выявил никаких различий ни в длине среднего ответа (количестве символов), ни во времени, затрачиваемом на вопрос. Анализ данных по второму открытому вопросу позволил выявить некоторые различия. Во Flash опросах средняя длина ответов респондентов, по сравнению с html, увеличилась на 12–15%. Добавление изображений и логотипов приводило к росту количества символов в ответе в среднем еще примерно на 5%.

С учетом того, что во всех четырех опросах присутствовал индикатор прохождения опроса и респонденты знали, что данный вопрос — заключительный, подобные результаты могут рассматриваться как один из способов оценки удовлетворенности от участия в опросе. Однако, прежде чем делать какие-либо выводы об уровне удовлетворенности, обратимся к ее прямым оценкам самими респондентами.

При этом форма, в которой задавался вопрос, для html и Flash анкет отличалась в соответствии с тем, использовался ли в опросе обычный «бумажный» инструментарий или интерактивный15. В первом случае шкала была реализована в виде обычного закрытого вопроса с пятью вариантами ответов; во втором — в виде интерактивного слайдера, также с пятью градациями (см. рисунки 14–15).

В итоге, как и ожидалось после анализа открытых вопросов, уровень удовлетворенности респондентов по прямым оценкам значимо отличался между html и Flash опросниками по результатам дисперсионного анализа (см. рисунок 16): в последних он оказался в среднем выше более чем на полбалла (F4434 = 47,199, p = 0,000).


Рисунок 14. Оценка удовлетворенности. Вариант HTML


Рисунок 15. Оценка удовлетворенности. Вариант Flash


Рисунок 16. Средний уровень удовлетворенности респондентов по прямым оценкам

Заключение. Роль интерактивного инструментария

Полученные результаты в целом согласуются как со сходными исследованиями, так и с нашими предположениями об интерактивных элементах как улучшающих качество данных опроса за счет повышения соответствия динамическим характеристикам веб-среды. Так, использование технологии Flash и интерактивных элементов в анкете, как правило, приводило к значимому снижению времени заполнения анкеты при учете того, что мы добавляли в расчеты и время загрузки вопросов (оно было несколько больше для интерактивных вариантов). Более того, снижение времени происходило без потери качества по анализируемым критериям, а оценки удовлетворенности опросом оказались во Flash варианте значительно выше. Не столь однозначными оказались выводы по воздействию изображений и логотипов: здесь основной итог заключается в том, что это воздействие существует и оно может проявляться как в положительную, так и в отрицательную с точки зрения качества данных сторону.

Полученные итоги отнюдь не означают, что все онлайн опросы должны быть переведены на Flash. Тем не менее на основе проведенного эксперимента может быть сделан следующий общий вывод: при относительно длинной анкете, использовании громоздких и сложных для респондента вопросов (таких, как табличные) продуманное включение интерактивных элементов в опрос может способствовать повышению качества его данных.

Вторник, Ноябрь 16th, 2010 Маркетинг