Возможности применения Flash шкал в онлайн исследованиях

Кейп Пит (Survey Sampling International, США)

Памятуя о том восторге, который первоначально вызвали исследования в формате HTML, сегодня онлайн исследования зачастую воспринимаются как бестолковые, монотонные и лишенные элементов интерактивности. Некоторые утверждают, что маркетинговые исследования не являются (и не должны являться) формой развлечения, а представляют собой пример научного исследования. Другие смотрят, возможно, более прагматично, что может предложить Интернет и как новые технологии могут быть использованы для решения задач маркетинговых исследований. Последний подход заключает в себе большие возможности. Техники маркетингового исследования эволюционировали на протяжении десятилетий, чтобы вобрать в себя все лучшее в рамках используемой методологии. Интернет позволяет исследователю еще раз пересмотреть свои подходы к базовым методологическим вопросам.

Появление Flash как инструмента и практически повсеместное его присутствие на персональных компьютерах дало возможность и дальше придумывать новые дизайны вопросов и ответов, которые, помимо всего прочего, выглядят привлекательными и предполагают некоторую степень интерактивности при ответах на вопросы.

Многие компании, предоставляющие услуги по программированию онлайн анкет и хранению данных, а также исследовательские компании предлагают пакет Flash инструментов взамен неуклюжим и затратным по времени традиционным методам создания анкеты. Среди этих инструментов — слайдер¹², который был разработан одним из первых и предназначался для замещения традиционных шкал. Однако, как ни парадоксально, этот инструмент до сих пор остается наименее популярным.

Возможно, такая непопулярность связана с отсутствием понимания, как именно слайдер воспринимается и используется респондентами, а также реальной боязнью потерять сравнимость с предыдущими данными, которые могли быть получены с помощью шкалы совершенно иного дизайна. Как индустрия, мы немного консервативны, и в отношении шкал есть ощущение, что «лучше не трогать то, что пока работает».

Данная статья стремится ответить на ряд вопросов относительно «стандартной» 5-балльной шкалы Лайкерта и помочь понять, как может работать альтернатива на базе Flash, во-первых, с точки зрения сбора данных, вызванной этим альтернативным вариантом, и, во-вторых, с точки зрения заинтересованности и удовлетворенности инструментом со стороны объекта, то есть респондента.

Графические представления или графические образы

Когда рассматривается использование чего-то иного, помимо текстовых вопросов и ответов, важно провести границу между визуальными образами и графическими представлениями.

Использование образов для иллюстрации понятий чревато трудностями для исследователя. Респонденты обнаруживают, что невозможно отделить образ от понятия. Это, конечно, ведет к путанице. Исследователь не знает, думает ли респондент об общем (то есть о понятии) или конкретном (об образе). Типичным вопросом, который неосмотрительный исследователь захочет немедленно сопроводить образами, может быть следующий: «Какой вид отдыха Вы предпочитаете?» Например, респондент, которому представили образы летнего отдыха, может реагировать на образы и, таким образом, на подвиды представленного летнего отдыха.

Оба образа, представленные ниже, могут иллюстрировать летний отдых:

Рисунок. 1

Рисунок. 2

Автор моментально находит один из них значительно привлекательнее другого и с большой вероятностью выберет любую альтернативу, нежели переполненный пляж. В результате вопрос «Какой вид отдыха Вы предпочитаете?» трансформируется в следующий: «Какую картинку отдыха Вы предпочитаете?», в котором текстовые варианты ответов практически ничего не значат.

Нейтральный выбор иллюстраций практически невозможен, когда речь идет об абстрактных понятиях (к числу которых, конечно, относится и «летний отдых»).

Вторая ошибка в использовании графических изображений, которая была допущена нашей компанией в онлайн исследовании, это использование интерактивных карт. В результате вопрос превратился в вопрос на знание географии. Знать, что Тулуза является столицей департамента Верхняя Гаронна, это не то же самое, что суметь указать точно Верхнюю Гаронну на карте департаментов Франции.

Образы всегда должны использоваться с осторожностью, и исследователи должны с критических позиций оценивать, что они могут означать для разных людей и в разных культурах.

Графическое представление отличается от образов и часто более наглядно для респондентов. Например, ранговые вопросы гораздо лучше работают в графической форме, нежели текстовой. Довольно простой задачей для людей является ранжирование ответов в порядке значимости, это значительно проще, чем, например, выбрать номер 1 из списка в 12 пунктов по телефону. Другие примеры графических представлений: виртуальная полка, чтение журнала с виртуальным переворачиванием страниц, задания, где нужно перемещать объекты (например, drag-and-drop упражнения), — все являются прогрессом с точки зрения эффективности, интерактивности и, вполне вероятно, точности данных.

Шкалы

Шкалы располагаются где-то между образами и представлениями. Шкалы не являются реальными в том плане, что их нельзя потрогать, обонять или ощутить, но это образный конструкт, который стал реальным благодаря постоянному использованию в определенном культурном контексте. У людей нет потребности использовать формализованные шкалы в обыденной жизни. Каждый из нас может оценить продукты по ряду критериев и прийти к какому-то решению о покупке, основываясь на оценке продукта и сравнительной важности каждого критерия для нас; все это происходит без каких-то формальных баллов и оценочных процедур. Проблема для исследователей состоит в том, что такое поведение очень сложно поддается описанию и категоризации, поэтому нам необходимо формализовать этот процесс, как бы это ни казалось абсурдным.

Разработка шкалы, особенно в случае онлайн исследования, переносит нас в пространство образов. В момент зарождения онлайн исследований иллюстративные образы весьма спорно применялись в отношении шкалы Лайкерта. На рисунке ниже показаны некоторые примеры иллюстрированных слайдеров.

Рисунок. 4

Обратите внимание, что в первом слайдере используются картинки с большим пальцем вверх/вниз. В контексте данного слайдера подразумевается согласие, несмотря на то что во многих культурах большой палец вверх/вниз в реальности означает «одобрение». Конечно, одобрение это не то же самое, что согласие. Представьте, что оценивается какое-то негативное суждение — неприятный, но правдивый политический факт, например. Будут ли респонденты каким-то образом вынуждены (пусть даже бессознательно) одобрять этот факт с помощью символа «большой палец вверх»? То же самое справедливо и в отношении «шкалы со смайликами». Неужели согласие с чем-то действительно всегда приносит нам радость? Шкалу со смайликами также можно критиковать за «неприемлемость» и даже «инфантилизм», в зависимости от предмета исследования. Красный и зеленый означают «стой» и «иди», и опять же не всегда мы хотим сказать «стоп», если не согласны с чем-то.

Нет сомнений, что Ринзус Лайкерт пребывал бы в ужасе, если бы тогда, в 1932 году, ему предложили заменить его простую шкалу согласия/несогласия смайликами! Но хотел бы он, чтобы его шкала была представлена как континуум, что давало бы возможность собирать и анализировать мнения с той степенью тщательности, с какой это возможно в наше время? Истинный потенциал слайдера может заключаться в той степени детализации, с которой он способен собирать данные, нежели в том восторге, который приносит перемещение бегунка по шкале и наблюдением за тем, как меняется в связи с этим изображение.

Шкала Лайкерта

Существует бесконечное число способов использования шкалы Лайкерта исследователями и множество вопросов вокруг нее. Наше исследование сосредоточено на двух ключевых вопросах относительно традиционной шкалы Лайкерта:

1. Эквивалентность рейтингов. Если утверждение А оценено как «скорее согласен» и утверждение В оценено точно так же, означает ли это, что респондент согласен с ними в равной мере? Если ко- ротко, то является ли шкала Лайкерта подходящим инструментом для определения тонких различий между суждениями?

2. Пространство между пунктами шкалы. Есть ли какое-то значение между пунктами «скорее согласен» и «полностью согласен»? Есть ли какое-то значение за пунктом «скорее согласен»? Принуждаем ли мы человека выражать мнение, которое не является его истинным мнением, потому что мы предлагаем ему слишком мало альтернатив?

Как только мы поймем, есть ли необходимость в замене традиционной шкалы Лайкерта, мы сможем оценить ряд вариантов представления шкалы Лайкерта с помощью слайдера.

На первом этапе эксперимента случайной подвыборке респондентов была представлена традиционная 5-балльная шкала Лайкерта для оценки четырех суждений. После выполнения задания у респондентов спрашивали, в какой степени инструмент позволил им точно выразить свое мнение (принимая во внимание предмет данной статьи, автора не покидала ирония использования фиксированной шкалы для сбора информации).

После этого респондентам снова были представлены суждения для оценки; сначала были показаны те, с которыми они были полностью согласны, затем те, с которыми они были скорее согласны, и так далее. Респондентам была предложена возможность пересмотреть свои ответы, используя 5 пунктов выше и/или ниже первоначально указанного ответа (если это возможно), приближаясь, но не достигая крайних пунктов шкалы Лайкерта.

В эксперименте использовался набор суждений о личных ценностях:

Утверждение 1. Высокие стандарты морали и этики являются самыми важными в жизни.

Утверждение 2. Достижение благополучия или приобретение материальных благ — это то, что сделает меня самым счастливым.

Утверждение 3. Я всегда буду ставить семью выше друзей.

Утверждение 4. Нужно соблюдать закон при любых обстоятельствах.

Как видно из таблицы 1, ответы по традиционной шкале были в целом положительными.

Tаблица 1. % респондентов, давших ответы «полностью или скорее согласен» по традиционной 5-членной шкале Лайкерта

	Британия	США	Германия	Китай
Полностью согласен	36%	41%	18%	21%
Полностью или скорее согласен	68%	71%	57%	46%

Основываясь на результатах опроса, можно предположить, что большинство людей не воспользуются возможностью пересмотреть свои ответы. На самом деле значительное число респондентов выбрали возможность изменить оценки, как это видно из таблицы 2.

Таблица 2. % респондентов, поменявших свое первоначальное мнение

	Британия	США	Германия	Китай
Утверждение 1	60%	52%	47%	46%
Утверждение 2	45%	51%	50%	52%
Утверждение 3	42%	36%	37%	51%
Утверждение 4	54%	54%	51%	42%

Интересно посмотреть, какие ответы с большей или меньшей вероятностью были подвержены изменениям. Взяв суждение 1 и посмотрев на распределение данных, мы можем увидеть, что наибольшему изменению подверглись те пункты шкалы, которые содержали определение «скорее» (безотносительно согласия или несогласия). 70% скорее несогласных и 75% скорее согласных изменили свое мнение в сторону более выраженного согласия/несогласия или нейтральной позиции. Это явно демонстрирует слабость шкалы Лайкерта в улавливании ответов, которые не являются ни сильными, ни нейтральными. Истинное значение частичного согласия или несогласия находится в континууме между сильно выраженным мнением и его отсутствием как такового.

Исследование нейтральной позиции «ни согласен, ни не согласен» также поразительно. В отношении суждения 1 42% респондентов изменили свою позицию в сторону согласия или несогласия. Это совершенно точно подразумевает, что существует определенная степень согласия/несогласия перед значением «скорее», которая определяется как более нейтральная, чем позиция «скорее».

Сильные мнения не были столь подвержены модификации, но мы увидели различную реакцию, которая зависела от того, на каком конце шкалы находился первоначальный ответ. Половина тех, кто изначально сказали, что полностью не согласны с суждением 1, изменили свое мнение в сторону «скорее не согласен». Напротив, только 23% тех, кто изначально сообщили, что полностью согласны с суждением, потом поменяли свое суждение и выбрали значение ближе к «скорее согласен». Если это означает, что легче сохранить сильную положительную приверженность, чем отрицательную, то можно утверждать, что эти два вербальных значения шкалы не являются противоположностью друг другу.

Данные результаты четко показывают, что у респондентов существует более сложное представление о согласии/несогласии, нежели инструмент позволяет нам измерить в данный момент. Анализ ответов на индивидуальном уровне не позволит нам определить, пересматривает ли респондент всю шкалу, чтобы отразить его персональное мнение о крайних и промежуточных пунктах шкалы, или респондент стремится показать трудноуловимую разницу во мнениях, которая существует относительно предложенного набора суждений. Если респонденты делают последнее, то возможность пересмотра оценок может в результате позволить сформировать индивидуальный рейтинг суждений по степени согласия с ними. Данные такого уровня почти невозможно получить с помощью традиционных шкал, когда различные суждения так часто получают один и тот же балл.

Если мы внимательно посмотрим на тех, кто дал одни и те же оценки для всех четырех суждений, то мы увидим изменение оценок в сочетании с желанием отделить суждения друг о друга. Из 44 случаев нулевой вариации ответов больше половины (55%) респондентов не изменили своих оценок вообще. 5 человек изменили свои оценки, но при этом рейтинг суждений не поменялся. Интересно, что было двое респондентов-«перебежчиков» — один, который изначально со всеми четырьмя суждениями был согласен полностью (значение 1), изменил значение на 1,83 для всех суждений; другой, который изначально поставил оценку «скорее согласен» для всех суждений (значение 2), поменял все свои оценки на 1,33. Значительное число оставшихся респондентов (34%) выбрали возможность обозначить различия между всеми суждениями или их частью.

Было также 22 случая, когда все четыре суждения получили разные оценки. Только два человека оставили свои оценки неизменными, остальные поменяли на другие, которые лучше отражали их мнение.

Эти факты говорят о том, что традиционная шкала Лайкерта является достаточно грубым инструментом и что не существует равенства между суждениями, которые получили одинаковую оценку.

Мы также увидели, что шкала Лайкерта воспринимается как достаточно точный инструмент для сбора мнений. В то же время респонденты, которым была дана возможность использовать шкалу-слайдер (безотносительно к ее дизайну), демонстрировали более высокий уровень удовлетворенности шкалой как инструментом, способным отразить их истинное мнение.

Таблица 3. % респондентов, давших ответы «полностью или скорее согласен» по слайдер-шкале Лайкерта

	Британия	США	Германия	Китай
Полностью согласен — слайдер	43%	54%	32%	21%
Полностью/скорее согласен — слайдер	72%	82%	68%	47%

Шкала Лайкерта — слайдер

Следующая часть нашего эксперимента касалась выяснения того, какое влияние на данные оказывает дизайн шкалы-слайдера. Мы использовали четыре разных дизайна: все имели текстовое описание крайних пунктов шкалы, и все воздерживались от визуальных иллюстративных элементов.

Первый слайдер содержал названия всех пяти традиционных пунктов шкалы:

Рисунок 5

Рисунок 6

На втором все отметки пунктов присутствовали, но текстовое описание промежуточных пунктов было удалено:

На третьем мы удалили отметки пунктов:

Рисунок 7

На последнем слайдере показывалось число от 1 до 5, чтобы указать, на каком именно значении установлен «бегунок»:

Рисунок 8

Во всех случаях первоначальное положение «бегунка» было установлено на значении «полностью не согласен». Была применена система проверки ошибок на случай, если респондент не менял положение «бегунка», чтобы убедиться, что респондент действительно совершенно не согласен с суждением.

Стартовое положение «бегунка» могло вызвать эффект смещения в ответах, равно как и порядок расположения вариантов ответов на традиционной шкале Лайкерта. Однако изучение подобного эффекта не было частью нашего эксперимента.

Наше первое наблюдение заключалось в том, что респонденты используют отметки пунктов, когда они есть. Интересно, что они также используют числовые эквиваленты пунктов, когда они имеются. Возможно, это происходит потому, что респонденты ранее видели нумерованную шкалу Лайкерта.

Таблица 4. Количество респондентов, выбравших определенные пункты шкалы — утверждение 1 (получены для одной и той же базы респондентов)

	Совершенно не согласен	Скорее не согласен	Затрудняюсь	Скорее согласен	Полностью согласен
Традиционная шкала	12	40	105	231	201
Традиционная шкала с измененными оценками	6	12	61	57	154
Слайдер с названиями пунктов	4	25	77	125	129
Слайдер с отметками пунктов	1	17	92	88	114
Пустой слайдер	1	8	27	21	97
Слайдер со значением	4	10	51	47	124

Каждый дизайн слайдера давал различное распределение данных. Это привело нас к предположению, что дизайн важен и должен использоваться с большой осторожностью. Мы определенно предостерегаем против небрежного использования визуальных/иллюстрированных слайдеров и рекомендуем придерживаться одного стиля в рамках одного исследования и в различных волнах сбора данных.

Где же истина в отношении утверждения 1? Этого мы, конечно, не можем сказать. Исследователи рынка используют различные описательные статистики, чтобы определить значение данных и интерпретировать их в разумном контексте.

После того как результаты для утверждения 1 объединены вокруг значений согласие/несогласие, лишь немногие исследователи не согласятся, что данные, вне зависимости от того, с помощью какой шкалы они были собраны (таблица 5), в общем-то говорят об одном и том же.

Таблица 5. % согласных и несогласных — утверждение 1

	Не согласен	Согласен
Традиционная шкала	9%	73%
Традиционная шкала с измененными оценками	6%	73%
Слайдер с названиями пунктов	8%	70%
Слайдер с отметками пунктов	6%	65%
Пустой слайдер	6%	77%
Слайдер со значением	6%	73%

В терминах среднего значения (а рассматривать среднее значение, основываясь на данных шкалы слайдера, приемлемо) ответы снова очень похожи.

Таблица 6. Средние значения по всем шкалам — утверждение 2

	Британия	США	Германия	Китай
Традиционная шкала	2,27	2,32	2,50	3,79
Традиционная шкала с измененными оценками	2,60	2,28	2,50	3,87
Слайдер с названиями пунктов	2,56	2,64	2,74	3,89
Слайдер с отметками пунктов	2,33	2,35	2,46	3,61
Пустой слайдер	2,32	2,39	2,29	3,62
Слайдер со значением	2,34	2,44	2,33	3,56

Мы четко можем видеть сходство между Великобританией, США и Германией (которые с чем-то не согласны) и их отличие по сравнению с Китаем (который склонен с чем-то соглашаться). Это справедливо вне зависимости от использованного инструмента сбора данных. Когда же мы увидим, что это суждение «Достижение благополучия или приобретение материальных благ — это то, что сделает меня самым счастливым», то ответы также имеют смысл в данном контексте.

Что действительно меняется, так это суммарные доли согласных/несогласных (топ-позиции), которые имеют тенденцию к уменьшению. Уменьшения в отношении разных суждений могут быть различными, но мы можем предположить, что различные методы дают сходный рейтинг суждений. Уменьшение суммарной доли согласных/не соглас- ных должно быть одноразовым явлением при переходе на новый дизайн шкалы, но это может быть неприемлемо для клиента. Вся концепция определения топ-позиций теряет смысл, как только появляется континуум. Вместе с континуумом данных появляется возможность использовать такие статистики, как квартили и децили, хотя они сложны для объяснения и какого-то практического использования.

Наконец, как было замечено в ходе эксперимента по пересмотру оценок, данные шкал-слайдеров (на индивидуальном уровне) значительно лучше подходят для дифференцирования мнений относительно ряда суждений. Во многих случаях это дает явное преимущество по сравнению с традиционной методикой.

Привлекательность

Как исследователи мы вынуждены сегодня делать наши исследования более «привлекательными» и «интерактивными». Является или нет маркетинговое исследование частью бизнеса развлечений, должно ли покупаться внимание рядового респондента — эти вопросы лежат за пределами нашего исследования. Однако мы осознаем, что некоторые вещи, которыми мы занимаемся, скучны, определенно монотонны и, правду говоря, бестолковы и нередко затянуты. Флэш альтернативы часто позиционируются как более привлекательные и интерактивные.

Flash слайдеры не уменьшают длительность интервью. В среднем использование слайдера для набора из четырех суждений занимает на 20 секунд больше. Возможно, дополнительное время вызвано непривычностью инструмента и со временем может сократиться. Может быть, было бы неплохо добавить флэш технологии в табличные вопросы. Из многочисленных исследований восприятия респондентов мы знаем, что эти типы вопросов наименее популярны и уровень внимания к таким вопросам не всегда высок настолько, насколько этого хотелось бы исследователям.

В конце исследования мы задали несколько вопросов о том, что думают респонденты о самом исследовании. В таблице 7 сравниваются мнения респондентов, которым не был показан слайдер (отмечены в таблице как «традиционные»), с ответами тех, кому эта шкала была показана.

Таблица 7. Оценка качества исследования со стороны респондентов

Исследование интересное	Британия	США	Германия	Китай
Согласен — традиционная шкала	93%	90%	90%	63%
Согласен — шкала-слайдер	97%	97%	94%	71%
Я получил удовольствие от участия в исследовании	Британия	США	Германия	Китай
Согласен — традиционная шкала	92%	89%	83%	73%
Согласен — шкала-слайдер	97%	96%	89%	81%
Приму участие в следующем исследовании	Британия	США	Германия	Китай
Согласен — традиционная шкала	99%	98%	98%	98%
Согласен — шкала-слайдер	99%	99%	99%	97%

Результаты говорят об увеличении интереса к исследованию и удовлетворенности участия в нем (что может быть взаимосвязано) при использовании слайдеров по сравнению с использованием традиционных шкал Лайкерта. Слайдеры незначительно усиливают общую привлекательность исследования, когда речь идет о желании принять участие в следующем опросе.

Заключение

Традиционная шкала Лайкерта во многих случаях является достаточно грубым инструментом. Можно доказать, что истинное мнение респондента лежит в пространстве между обозначенными вариантами ответов. Также возможны случаи, когда истинное мнение лежит за традиционными границами шкалы.

Однако это не говорит о том, что шкала является неправильной. Респонденты полагают, что она достаточно хорошо отражает их мнение. Можно только гадать, в какой мере это мнение обусловлено привычностью шкалы.

Однако это абсолютно точно означает, что равенства между суждениями, которые были оценены одинаково, нет. Также переоценивается сила мнений в отношении суждений. Исследователи, которые захотят оценить на качественном уровне степень согласия и силу мнения, например, «полностью согласен», совершат ошибку.

Слайдер-шкалы не дают уровней или значений согласия/несогласия, которые бы существенно отличались от тех, которые дают традиционные шкалы. Это означает, что слайдеры могут заменить традиционные шкалы без существенных расхождений в данных. Любой исследователь, который анализирует крайние позиции, должен знать, что они уменьшатся при изменении типа шкалы.

В чем слайдер-шкала точно превосходит традиционную, так это в способности улавливать малейшие различия в суждениях. Если дизайн исследования направлен именно на это, тогда слайдеры будут именно тем инструментом, с которым не будет необходимости использовать дополнительные вопросы для ранжирования суждений, получивших одинаковый балл.

Следует отметить, что наши находки также будут полезны для тех, кто ищет нерадивых респондентов, которые отмечают один и тот же ответ в таблице (так называемые straightliners). Там, где возможно или обоснованно для отдельного респондента соглашаться (или не соглашаться) со всеми суждениями, любые явные ответы по прямой линии могут быть скорее ошибкой инструмента, нежели респондента: просто инструмент не позволяет респонденту выразить различия в его мнениях к суждениям в таблице.

Дизайн самого слайдера должен быть продуман тщательно во избежание смещений, вызванных визуальными образами.

Шкала-слайдер не улучшает существенным образом уровень привлекательности исследования и (по крайней мере, в первое время) увеличивает его длительность.

Наконец, в нашей погоне за привлекательностью мы не должны забывать, что шкалы-слайдеры не сделают затянутые, скучные и монотонные таблицы интересными.