Маркетинг - Реклама - Пиар

новости, стратегии, методы, книги, теория и практика

Влияние заинтересованности панелистов на качество данных


Шашкин Александр Владимирович (Online Market Intelligence)

Онлайн исследования проводятся в мире уже более 15 лет, и все эти годы ведутся споры о качестве выборок и данных онлайн опросов. Профессиональные ассоциации (такие как ESOMAR, CASRO и ARF) издают специальные руководства по проведению исследований с использованием Интернета. Основная цель этих документов — описать инструменты, позволяющие снизить влияние источников выборки и методики сбора данных на качество получаемой информации. Вопросы качества также становятся основным предметом обсуждения на конференциях, посвященных онлайн исследованиям; на эту тему написан целый ряд статей и книг. Вместе с тем в большинстве этих дискуссий практически не затрагиваются вопросы взаимоотношения и коммуникации с участниками онлайн панелей — людьми, регулярно отвечающими на вопросы анкет через Интернет. Наш практический опыт проведения онлайн исследований позволил предположить, что падение процента отклика (Response Rate) и недобросовестное поведение участников онлайн панелей происходит не из-за нежелания людей принимать участие в опросах общественного мнения, их пассивности или отсутствия интереса. В погоне за мнениями о других мы нередко забываем спросить, что люди думают о нас. Результаты регулярного исследования удовлетворенности участников панели Anketka.ru компании Online Market Intelligence (OMI) помогут нам понять, «чем живут» панелисты, как они оценивают свой опыт и как меняется их отношение к проекту с течением времени. Суть нашей статьи заключается в том, что можно бесконечно придумывать изощренные методы и технологии контроля качества онлайн данных (вопросы-ловушки, цифровые отпечатки пальцев и прочее), но если не уважать фундаментальные права респондентов, не общаться с ними, не прислушиваться к их мнению и не выстраивать адекватную систему вознаграждения, эти усилия будут тщетны. На действия администрации панелей люди отвечают «симметрично»: любые ошибки и недоработки приводят к тому, что добросовестные респонденты (участвующие потому, что им нравятся опросы, или потому, что они хотят помочь производителям) покидают панели; остаются лишь те, кто участвует ради денег. Практика показывает, что именно респонденты, мотивированные заработком в Интернете, более склонны к недобросовестным действиям: созданию множества учетных записей, заполнению анкет вслепую, искажению информации о себе для прохождения анкет-фильтров и так далее.

Эмпирическая база данной статьи состоит из результатов исследования удовлетворенности участников онлайн панели Anketka.ru. Потребительская онлайн access-панель Anketka.ru была запущена в России в октябре 2007 года. До конца 2007 года панель находилась в стадии формирования, а среди участников проводилось сравнительно небольшое число исследований (в среднем менее одной заполненной анкеты в месяц на члена панели). В этот период впечатление участников о проекте базировалось главным образом на опыте пребывания на панельном портале. В начале февраля 2008 года мы провели первое исследование удовлетворенности участников панели (метод: онлайн опрос, случайная выборка N = 650, Россия). Позже панель стала использоваться все чаще (но тем не менее была далека от избыточного использования), и у людей сформировался опыт заполнения анкет и общения с панельной администрацией. Вторая волна исследования удовлетворенности была проведена в мае 2008 года; затем замеры стали регулярными и проводились ежеквартально. На момент написания статьи самыми свежими данными были результаты июльской волны 2009 года. Таким образом, у нас появилась уникальная возможность проследить изменения в восприятии панельного проекта его участниками с момента создания. Так как основные тенденции носят выраженный и постоянный характер, мы не будем приводить данные всех волн, а дадим только наиболее контрастные сравнительные результаты по первой и последней (шестой) волнам исследования.

В качестве дополнительных материалов будут использованы мнения участников различных панелей, собранные на основном форуме «профессиональных респондентов» в сети Интернет: www.oprosy.info, а также результаты регулярного наблюдения за деятельностью различных панельных провайдеров на российском рынке. Для анализа технологий и инструментов, способствующих формированию заинтересованности респондентов, будут использованы примеры панельных проектов Anketka.ru, AvtoOpros.ru и ITOpros.ru

Логика нашей статьи будет следующей: мы начнем с анализа мотивации членов онлайн панели Anketka.ru, а затем предложим базовую типологию участников панелей. После этого мы обсудим опасности, связанные с высокой долей финансово мотивированных респондентов в панелях, а также обозначим ключевые задачи панельного менеджмента. Далее мы попытаемся понять, какие свойства панели важны для разных типов респондентов, а также рассмотрим составляющие негативного опыта панелистов и обозначим основные способы их минимизации. Отдельный раздел статьи будет посвящен роли панельных порталов в процессе управления панелями. Включенное наблюдение за деятельностью различных панельных провайдеров на российском рынке позволит нам классифицировать и описать ключевые ошибки менеджмента панелей и предложить адекватные варианты решения связанных с этим задач. В статье также будут описаны некоторые используемые практические приемы, позволяющие повысить заинтересованность участников панелей и собирать качественную информацию.

Мотивация участников панели

Вопрос мотивации панелистов достаточно подробно освещается в современной литературе [см., например, 1, 2]. Основной вывод этих исследований состоит в том, что участники панели мотивируются, как правило, причинами, связанными с социальной включенностью и ответственностью (высказывая свое мнение, люди помогают улучшать продукты и услуги). В мотивации панелистов значимую роль играет любопытство и желание развлечься, а не только материальное поощрение участия в чистом виде [2, с. 113–114]. Результаты нашего исследования удовлетворенности участников панели Anketka.ru также подтверждают эти предположения (см. таблицу 1).

Таблица 1. Основные причины участия в панели Anketka.ru.

Какова основная причина Вашего участия в проекте Анкетка? Волна 1

(февраль 2008), %

Волна 6 (июль 2009), %
[1] Мне нравится выражать свое мнение 14,3 15,2
[2] Я хочу участвовать в благотворительности 1,1 1,6
[3] Я хочу заработать деньги 17,3 16,0
[4] Я хочу, чтобы производители считались с моим мнением 23,2 25,7
[5] Мне интересно принимать участие в опросах 28,8 28,1
[6] Мне нравится узнавать о новинках на рынке 3,3 5,8
[7] Мне интересен этот проект 9,1 5,3
[8] Другие причины 0,5 0,6
[9] Не знаю 2,4 1,7
ВСЕГО 100 100

Принимая во внимание основные причины, по которым люди присоединяются к панели, можно предложить следующую базовую типологию участников:

1) «любопытные» — эта группа объединяет людей, участвующих в панели ради интереса и развлечения;

2) «ответственные» — члены этой группы хотят помочь производителям улучшить качество продуктов и услуг, а также заниматься благотворительностью;

3) «прагматичные» — эти люди заполняют опросы, прежде всего чтобы заработать деньги.

Согласно результатам нашего исследования, в панели преобладают «любопытные» участники (причины №1, 5, 6, 7) — их общая доля составляла 55,5% в первой волне проекта и осталась стабильной (54,4% в шестой волне). Доля «ответственных» панелистов (причины №2 и 4) составляла чуть менее четверти опрошенных (24,3%) в первой волне, с течением времени «ответственных» панелистов стало немного больше (27,3%). Доля «прагматичных» респондентов (причина №3) на заре существования панели составляла 17,3%; в ходе развития проекта она уменьшилась до 16%.

Приведенная типология имеет ряд важных особенностей:

1) доли каждого из описанных типов участников могут сильно отличаться в различных панелях. Преобладание людей того или иного типа зависит от многих факторов, главными из которых являются:

— характер и источники рекрутирования панели;

— особенности мотивации участников и управления панелью;

— качество и частота коммуникации с панелистами (на панельном портале, в анкетах, сообщениях администрации, новостных бюллетенях и т.д.);

2) доли респондентов различных типов меняются с течением времени. При адекватном менеджменте панели доля «прагматичных» респондентов имеет тенденцию к снижению, а доля «ответственных» — к росту;

3) мотивация участников панелей практически не зависит от пола и возраста.

Перед тем как перейти к более глубокому анализу мотивации панелистов, нам бы хотелось более пристально взглянуть на «прагматичных» респондентов. По мнению большинства исследователей, именно они представляют наибольшую опасность.

«Прагматичные» респонденты: в чем опасность?

По мнению Андрея Постоаки, большая доля панелистов, участвующих в опросах только ради денег, «должна, как правило, вызывать вопросы и опасения всех компаний, занимающихся маркетинговыми исследованиями, которым небезразлично качество их панелей» [2, c. 114].

Почему высокая доля прагматичных респондентов должна настораживать панельных провайдеров и их заказчиков? Все дело в том, что людям, участвующим в опросах ради денег, более свойственно недобросовестное поведение.

Умников, желающих нагреть руки на онлайн опросах, действительно находится довольно много: ежедневно форум посещают несколько сотен человек. Анализ суждений этих людей на форуме позволяет обозначить основные причины того, почему «прагматичные» респонденты вызывают наибольшие опасения:

1. Восприятие всех панелей, а также самой практики участия в опросах с точки зрения возможного заработка.

Анализ текстов форума www.oprosy.info показал, что не менее 80% всех суждений участников связано с вопросами оплаты: сколько, как часто, каковы способы вывода средств, сроки получения денег и призов и т.п. На форуме практически отсутствуют упоминания о других возможных мотивах участия, кроме денег. Прежде всего это формирует циничное отношение к опросам, показывает отсутствие понимания факта, что маркетинговые исследования являются практически единственным структурированным способом сбора информации, на основе которой действительно принимаются управленческие решения. Таким респондентам неинтересно узнавать новое или помогать производителям, они концентрируются только на возможности заработать.

В этой связи большое недовольство участников форума вызывают опросы, за заполнение которых предлагается мало денег либо вознаграждение не компенсирует временных затрат. Вот один из примеров такого суждения:

Можно предположить, что больше всего страдает качество ответов на анкеты с невысокой «объявленной стоимостью». Кроме того, представления о стоимости собственного времени отличаются от респондента к респонденту. Реакцией провайдеров панелей в такой ситуации может быть фиксация минимального порога цены анкеты вместе с систематическим контролем качества заполнения (в частности, проверка на скорость и внимание).

2. Множественные регистрации в панелях.

Данный тип нарушения встречается относительно редко (менее 1% участников панелей, по данным внутренних исследований OMI), так как требует существенных усилий от респондента: создание большого числа регистраций на разные электронные адреса, отслеживание приглашений и счетов, заполнение нескольких одинаковых анкет и т.п. При этом качественный менеджмент панели позволяет оперативно выявлять и удалять дублирующиеся регистрации. Также существуют технологические решения, не дающие респондентам заполнять одни и те же анкеты повторно. Именно поэтому основная доля обсуждений, касающаяся множественного членства в панелях, связана с вариантами преодоления «препятствий», которые строят владельцы панелей.

В качестве одного из способов борьбы с множественными регистрациями компания OMI решила ограничить выплаты вознаграждений панелистам только почтовыми переводами, так как этот способ предусматривает проверку паспорта перед получением денег. Кроме того, после получения запроса на обналичивание средств у панелиста дополнительно запрашивается отсканированная или сфотографированная копия паспорта.

Несмотря на регулярные попытки создания множественных регистраций в панелях, сами «профессиональные» респонденты считают такую тактику не слишком надежной и успешной. Панельные провайдеры нашли довольно эффективные способы борьбы с повторным заполнением анкет одним человеком, поэтому данный тип недобросовестного поведения имеет незначительное распространение.

3. Некорректные данные, оставляемые при регистрации и заполнении анкет.

Наиболее опасным нарушением с точки зрения качества данных является предоставление людьми ложной информации при регистрации в панели, а также в ходе прохождения опросов. Нам представляется, что данный тип недобросовестного поведения возникает в результате «профессионализации» «прагматичных» панелистов: так, они начинают понимать, что вероятность прохождения через анкету-фильтр увеличивается, если респондент удовлетворяет ряду критериев. Например, такими критериями могут быть: доход, принятие решений о покупках в домохозяйстве, место жительства, наличие ряда престижных товаров дома, пользование определенными услугами и т.п.

Важной особенностью онлайн исследований в России является то, что целевая аудитория большинства заказчиков — это жители городов-миллионников в возрасте от 25 лет. Это связано с недостаточным проникновением Интернета за пределы крупных городов, но также и с тем, что жители мегаполисов составляют основную долю потребителей самых различных товаров и услуг. После нескольких месяцев участия в панели это начинают понимать и респонденты.

После достаточно длительного участия в панели рефлексивные респонденты начинают более глубоко понимать сущность процесса отбора и даже строить собственные классификации людей, которые «никогда не пройдут» через анкету-фильтр.

Надо отметить, что честность респондентов в опросах, проводимых традиционными методами, если и могла подвергаться сомнению, то все равно практически никогда не проверялась. Считается, что люди, которые достаточно редко участвуют в опросах, дают честные ответы. Поэтому основные средства борьбы с «профессионализацией» респондентов в панелях направлены на ограничение участия: заполнение не более четырех анкет в месяц; «карантин» или «локаут» на заполнение анкет по определенным товарным категориям (три, шесть или двенадцать месяцев) и т.п.

Кроме перечисленных вариантов недобросовестного поведения, прагматичные респонденты более склонны к слишком быстрому и невнимательному заполнению анкет и иным попыткам заработать больше денег при меньших временных затратах.

Учитывая риски, связанные с прагматичными респондентами, в долгосрочной перспективе система управления панелью должна быть направлена на удержание как можно большей доли любопытных и ответственных участников. Постоака в своей монографии [2] использует данные исследования удовлетворенности панелистов, проведенного Ipsos Interactive Services (IIS) в 2002 г. Сразу после создания панели IIS доля людей, принимавших участие в опросах ради денег, составляла 12,6%. Тот же вопрос обсуждался в 2008 г. на панельной конференции CASRO в Майами, где Эни Пти (Annie Pettit) из IIS озвучила свежие результаты опроса удовлетворенности, согласно которым доля прагматичных респондентов выросла до 56%. Что же случилось за эти несколько лет? Неужели мотивация участников настолько изменилась или просто «хорошие ребята» уже успели покинуть панель? Если произошло последнее, каковы причины подобных изменений? Как можно было удержать любопытных и ответственных людей в панели на более длительный срок? Чтобы ответить на эти вопросы, нам нужно сделать следующий шаг и попытаться понять, что респонденты ценят в своем опыте участия в панели и каковы их ожидания от администраторов панельных проектов.

Ценности и желания участников панели

Опыт участников панели можно разделить на опыт пребывания на панельном портале, опыт участия в опросах/заполнения онлайн анкет и опыт общения с менеджерами панели и службой поддержки. В этой связи нам необходимо понять, какие свойства панели являются наиболее важными для ее участников, с какого рода опытом связаны эти свойства и как отношение членов панели к различным ее атрибутам меняются с течением времени.

В таблице 2 представлен рейтинг наиболее важных характеристик панели Anketka.ru, упомянутых нашими респондентами, а также сравнительные данные по первой и шестой волнам исследования удовлетворенности панелистов.

Таблица 2. Рейтинг наиболее важных характеристик онлайн панели Anketka.ru

Характеристики Рейтинг «Очень важно» и «Скорее важно», %
(Волна 1/6) Волна 1 Волна 6
Интересная тема опроса 1/1 85,8 82,0
Частота получения приглашений к опросам 2/2 81,2 78,5
Отсутствие грамматических и орфографических ошибок в анкетах 3/5 62,8 66,3
Размер вознаграждения за заполнение анкеты 4/6 62,4 65,2
Возможность отвечать на экспресс-опросы 5/4 62,2 67,1
Наличие нескольких вариантов обналичивания накопленных денег 6/7 61,6 62,5
Регулярные получение новостей Анкетки 7/8 48,9 44,8
Внешний вид и дизайн анкет 8/9 42,4 40,6
Российское происхождение проекта 9/3 38,3 67,7
Благотворительность 10/10 33,5 32,8

Как видно из результатов исследования, свойства проекта, связанные с опытом участия в опросах, оказались наиболее важными. Так как любопытство является основной движущей силой, привлекающей людей в панель, для них больше всего важны интересные темы опросов. Как видно из опроса, важность этого фактора немного снижается: участники панели начинают понимать, что реальные опросы не всегда бывают интересными.

Вторая важная характеристика — это частота получения приглашений к участию в опросах. Когда панель новая, участники хотят получать больше опросов. Важность этого фактора несколько снижается вместе с повышением опросной нагрузки. Результаты опроса показывают, что участники панели также ценят отсутствие ошибок в анкетах и размер вознаграждения за их заполнение.

Основным сюрпризом для исследователей стал серьезный рост значимости российского происхождения проекта. Так, всего за три месяца, прошедших от первой до второй волны исследования удовлетворенности, данный фактор переместился с девятого на третье место по значимости и сохранил свою позицию до последней волны. Одной из причин такого изменения, возможно, является факт получения респондентами большего числа опросов от российских компаний. Участвуя в таких исследованиях, панелисты начинают понимать, что они действительно оказывают влияние на принятие маркетинговых решений известными национальными производителями. Другая возможная причина — культурная релевантность общения администрации с участниками панели. Например, спустя несколько месяцев после запуска проекта была введена система экспресс-опросов на панельном портале, с помощью которых участники могут высказать свое мнение по актуальным вопросам. Эта идея сразу стала популярной: в первой волне проекта 62,2% респондентов назвали ее «очень важной» или «скорее важной», к шестой волне данный показатель вырос до 67,1%.

Еще одной интересной тенденцией является небольшое повышение значимости размера вознаграждения за участие в опросах (с 62,4 до 65,2% в первой и шестой волнах, соответственно). При этом позиция данного фактора в рейтинге значимости снизилась с четвертой до шестой позиции. Данный факт еще раз показывает, что денежное вознаграждение является важным, но далеко не основным мотивом участия в панели.

Следуя логике исследования, мы постарались понять, какие характеристики панели являются значимыми для различных типов участников проекта. В таблице 3 показаны ключевые характеристики, которые назвали «очень важными» или «скорее важными» представители различных типов панелистов.

Таблица 3.Важность характеристик панели для различных типов панелистов

Любопытные Ответственные Прагматичные
1-е место Интересная тема опроса Интересная тема опроса Размер вознаграждения
2-е место Частота приглашений к опросам Частота приглашений к опросам Частота приглашений к опросам
3-е место Российский проект Российский проект и Возможность отвечать на экспресс-опросы Несколько вариантов обналичивания

Как видно из таблицы, любопытные и ответственные панелисты указывают схожие значимые характеристики проекта. Для каждого из этих типов важным является российское происхождение панели, так как оно определяет качество коммуникации (текстов панельного портала, ответов службы поддержки, а также отсутствие грамматических и орфографических ошибок в анкетах, которые часто встречаются в панелях западных провайдеров). Прагматичных же респондентов волнует величина и ликвидность вознаграждения; значимость частоты участия, по всей видимости, имеет отношение только к скорости накопления суммы, которую можно перевести в наличные (данный порог составляет 1000 рублей в панели Anketka.ru). Отсутствие интереса к содержательным характеристикам проекта со стороны прагматичных респондентов еще раз доказывает, как важно держать их долю под контролем.

Негативный опыт панелистов

Следующий ключевой вопрос нашего исследования касается свойств панели, которые не нравятся ее участникам. Понимание негативного опыта респондентов позволяет провайдеру искать пути по его минимизации. В талице 4 приведены распределения ответов на вопрос: «Что вам не нравится в проекте «Анкетка»?»

Таблица 4.Что не нравится участникам панели?

Что Вам не нравится в проекте Анкетка? Волна 1,% Волна 6, %
[1] Предварительный отбор перед каждым опросом 33,9% 42,5%
[2] Слишком длинные анкеты 25,5% 12,7%
[3] Приглашения к участию в опросах приходят недостаточно часто 25,5% 29,6%
[4] Необходимость оставлять личную информацию 13,5% 15,5%
[5] Формулировки вопросов 5,1% 14,3%
[6] Темы опросов 3,1% 11,8%
[7] Дизайн сайта 3,1% 6,4%
[8] Работа сайта 2,8% 7,2%
[9] Другие причины 6,3% 3,4%
[10] Все нравится 14,0% 11,3%
[11] Не знаю/ Затрудняюсь ответить 20,1% 9,9%

Согласно результатам исследования, основной негативный опыт респондентов связан с процессом отбора участников опроса — скринингом или прохождением анкеты-фильтра. Не секрет, что целевые аудитории заказчиков все реже определяются только социально-демографическими характеристиками. Нередко опросить нужно пользователей тех или иных товаров и услуг или планирующих ими воспользоваться. В описаниях выборки все чаще встречается квотирование по маркам используемых продуктов, а также отбор респондентов на основе психографических характеристик. Это приводит к тому, что респондент перед переходом к основной анкете заполняет довольно объемную (до 20 вопросов) анкету-фильтр. Если выясняется, что человек не подходит под заданные характеристики, он получает соответствующее сообщение и не может продолжать опрос. В среднем на одну полностью заполненную анкету приходится 5–7 анкет, в которых респонденты не проходят скринер. Данное соотношение имеет тенденцию к увеличению; вместе с ним растет и доля участников панели, недовольных предварительным отбором (с 33,9 до 42,5% в первой и шестой волнах соответственно).

В данной статье мы не будем подробно останавливаться на способах минимизации негативного влияния процесса предварительного отбора на удовлетворенность панелистов. Укажем лишь основные из них: выплата небольшого вознаграждения отскринированным панелистам («плата за лояльность»); розыгрыши призов среди участников панели, которые часто не проходят отбор; различные варианты сокрытия факта скринирования (например, использование формулировки «вы прошли короткую версию анкеты» вместо «вы не подошли для участия» в сообщении о негативном результате скринирования) и т.п.

Кроме «пассивных» способов борьбы с негативным опытом скринирования, существуют и «активные», целью которых является сбор максимально подробной информации о каждом участнике панели, что позволяет таргетировать приглашения к опросам на целевую аудиторию, а значит, уменьшать долю участников, не прошедших предварительный отбор. Данной цели прежде всего служит профильная анкета, которую люди заполняют при регистрации в панели. Однако данные профили достаточно быстро устаревают и требуют регулярного обновления. Как показывает практика, даже простота процесса обновления профиля и периодические напоминания о необходимости это сделать не всегда позволяют добиться желаемого результата.

Также существуют и более передовые техники для ad hoc профилирования целевой аудитории. Помимо добавления новых характеристик и обновления персонального профиля панелистов по результатам каждого из проведенных исследований, все большую популярность приобретает инструмент под названием «экспресс-опрос» на панельном портале. Провайдер панели имеет техническую возможность отслеживать ID панелистов, принимающих участие в экспресс-опросах, а значит, ответы на эти мини-анкеты могут быть совмещены с индивидуальными характеристиками панелистов (профилем), оставленными при регистрации. Такой подход помогает решать следующие задачи:

— приглашать к участию в исследованиях панелистов, которые дали определенные ответы в экспресс-опросе;

— добавлять профильную информацию каждого респондента к ответам на экспресс-опросы, таким образом превращая один вопрос в исследование с более чем 100 вопросами;

— точно предсказывать уровень достижимости (пенетрации) труднодоступных целевых аудиторий.

Экспресс-опросы позволяют поддерживать коммуникацию с панелистами двумя способами: во-первых, они уменьшают негативный эффект предварительного отбора и создают активность на панельном портале; во-вторых, участники проекта постоянно чувствуют, что их мнение важно.

Важно также отметить, что с опытом участия в опросах происходит значимое снижение негативного восприятия слишком длинных анкет. Вместе с тем возрастает негативное влияние некорректно сформулированных вопросов и неинтересных тем исследования. У большинства участников панели формируется собственное мнение о проекте: так, доля затруднившихся с ответом на вопрос о негативном опыте снизилась более чем в два раза (с 20,1% в первой волне проекта до 9,9% — в шестой).

Существуют элементы негативного опыта, которые являются атрибутами современного исследовательского процесса и находятся вне зоны влияния панельных провайдеров. К таким элементам относятся необходимость оставлять личную информацию, слишком длинные анкеты, сложные формулировки или форматы вопросов (например, табличные вопросы). Вместе с тем исследователи по всему миру не оставляют попыток сделать опыт участия в маркетинговых исследованиях более позитивным. В качестве примеров можно привести переход к интерактивным анкетам; расширенное использование имиджей, аудио и видео в опросном инструментарии, включение онлайн форумов и блогов в набор инструментов, предназначенных для сбора информации о потребителях и так далее.

Как показывает практика, многие панелисты готовы мириться с наличием негативного опыта, если они доверяют проекту. Одним из ключевых инструментов формирования доверия является панельный портал.

Панельный портал: задачи и особенности восприятия панелистами

Для обычного человека панельный портал является своего рода окном в мир маркетинговых исследований. Люди, как правило, сталкиваются с исследованиями, когда видят или слышат об их результатах в СМИ, а также когда их самих приглашают к участию в опросах в квартирах, по телефону или на улице. С переходом индустрии маркетинговых исследований к поиску участников массовых опросов в онлайн панелях сайты таких панелей становятся важнейшим инструментом при достижении взаимопонимания с респондентами и формирования у них доверия и уважения к исследователям, их деятельности и ее результатам.

В западном исследовательском сообществе ведется дискуссия о том, придает ли большую ценность панели наличие общения между ее участниками. Наш опыт показывает, что возможность общаться на сайте панели может привести к непредсказуемым последствиям. Так, незначительная часть недобросовестных панелистов может начать обсуждать «искусство прохождения предварительного отбора», возможность оставлять недостоверную информацию и другие темы респондентов. Кроме того, есть множество онлайн сообществ, позволяющих людям взаимодействовать, обмениваться контентом и просто хорошо проводить время, поэтому панельные порталы никогда не сравнятся с такими службами, как «Одноклассники», «ВКонтакте», FaceBook, MySpace или YouTube. Это также подтверждается данными опросов: более 80% панелистов не считают обязательным наличие форума на панельном портале. По нашему мнению, люди адекватно воспринимают позиционирование и цели панельного проекта и не ожидают от него дополнительных сервисов. Также существуют опасения, что добавление на сайт таких разделов, как новости или онлайн игры, будет мешать восприятию основной идеи: участие в маркетинговых исследованиях как возможность узнать что-то новое и оказывать влияние на маркетинговую политику компаний-производителей.

Основные ошибки управления панелями

После определения важнейших свойств онлайн панелей и понимания того, как различные типы участников воспринимают их, мы предприняли попытку проанализировать десять крупнейших панельных порталов, работающих в России и принадлежащих как локальным, так и глобальным провайдерам онлайн выборок. Целью нашего анализа было выявление ключевых ошибок управления панелями, а также понимание того, какое влияние могут оказать эти ошибки на заинтересованность панелистов и качество данных. Исследование проводилось методом включенного наблюдения: мы зарегистрировались в каждой из панелей и больше года следили за действиями их создателей.

Результатом анализа стала классификация распространенных ошибок управления панелями, представленная в таблице 5. Рядом с каждой ошибкой мы сочли целесообразным представить собственный опыт решения схожих задач. Важно понимать, что в таблице представлена совокупность ошибок, и это не означает, что все панельные провайдеры совершают подобные ошибки. Более того, в последние годы наметилась тенденция к улучшению качества менеджмента панелей, однако панельные проекты ряда провайдеров по-прежнему являют собой примеры того, как неадекватное управление процессом может свести на нет все преимущества использования новой методики сбора данных. Также важно отметить, что методика панельных онлайн исследований, а также стандарты работы с панелями были разработаны на Западе, поэтому местные провайдеры находятся в лучшем положении и могут учиться на ошибках других.

Таблица 6. Основные ошибки управления панелями

Характеристики Ошибочные действия Успешные варианты решения схожих задач
Опыт пребывания на панельном портале 1. Плохой дизайн панельного портала. Так, на портале могут быть неподходящие в культурном отношении имиджи (например, люди различных рас могут передавать глобальный имидж, но россиянам это может казаться неадекватным). Также сообщения на главной странице могут транслировать лишь идею заработка на опросах, что отпугивает людей, мотивированных иначе.

2. Плохие или неадекватные переводы текстов на портале. Например, слово «панель» имеет другое значение в русском языке, поэтому если называть людей «участниками панели», а сам проект — «панелью», это будет неправильно понято и может создать негативные ассоциации.

3. Проблемы с кодировкой текста. Когда портал разрабатывается одновременно на нескольких языках, повышается риск того, что на некоторых из них будут проблемы с кодировкой.

4. Профильные анкеты, заполняемые при регистрации в панели, могут содержать неадекватные вопросы (например, вопрос о расовой принадлежности в России). В них также могут быть упомянуты товары или услуги, которых не существуют на местном рынке.

5. Отсутствие активности на панельном портале, иногда кажется, что портал устарел и давно не обновлялся. Участникам панели не предлагается дополнительная информация.

1. Дизайн портала содержит культуросообразные изображения и тексты, направленные на привлечение любопытных и ответственных участников. Например, эту роль могут играть фотографии панелистов и их мнения о проекте, логотипы компаний-заказчиков, ссылки на публикации в СМИ по результатам опросов и так далее.

2. Оригинальные тексты и/или переводы, созданные носителями языка. Идея проекта описывается людям простыми и понятными словами. Раздел FAQ (часто задаваемые вопросы) основан на формулировках самих участников панели, а не ее создателей.

3. Корректное отображение текста в большинстве операционных систем, браузеров и программ просмотра файлов.

4. Вопросы профильной анкеты корректно сформулированы. В списки брендов добавлены торговые марки местных производителей и поставщиков услуг (например, местные операторы мобильной связи).

5. Наличие дополнительных мероприятий на портале, таких как экспресс-опросы, регулярное добавление на портал ссылок на публикации в СМИ, результатов розыгрышей призов и прочее.

Характеристики Ошибочные действия Успешные варианты решения схожих

задач

Опыт участия в опросах 1. Плохой перевод анкет, обилие грамматических и орфографических ошибок, иногда неправильная кодировкой текста. Один из примеров — дословный перевод названий брендов (так, вместо Dell, Apple, Seagate получаем Лощина, Яблоко, Морские ворота).

2. Отсутствие локальных брендов в списках ответов на закрытые вопросы. Например, респондента спрашивают, какой поисковую службу он использует, но в списке нет местного бренда Яндекс, который занимает около 40% рынка.

3. Формулировки вопросов не учитывают региональных особенностей. Например, используется годовая шкала доходов вместо месячной. Также российским реалиям могут не соответствовать шкалы доходов или цен, списки религий, форматы магазинов и т.п.

4. Неадекватные способы вознаграждения панелистов.

a) Крайне сложно и дорого обналичивать банковские чеки в долларах США за пределами Москвы и Санкт-Петербурга, время обработки занимает до двух месяцев.

b) Выбранные онлайн магазины доставляют товары в Россию/определенные регионы за дополнительную плату или не доставляют вообще.

c) Выбранные бонусные программы лояльности (например, накопление призовых миль за полеты) используются незначительной долей населения России.

d) Легальное перечисление денег на электронные кошельки или мобильные телефоны крайне затруднено или невозможно.

1. Анкеты переведены и отредактированы профессионалами, работающими в российских исследовательских агентствах. Адекватность кодировки проверена в различных браузерах.

2. Списки брендов локализованы и включают местные компании. Существует возможность нахождения пользователей локальных брендов (например, интернет-провайдеров, сервисов бесплатной электронной почты и т.п.), так как эти вопросы добавлены в профиль.

3. Все вопросы формулируются с учетом специфики не только России, но и регионов. Используются стандартные типовые вопросы и шкалы, многократно проверенные на адекватность в российских условиях.

4. Удобные способы оплаты, предусматривающие проверку удостоверения личности при получении вознаграждения. В частности, практически единственным юридически корректным способом является отправка денег почтовыми переводами. Более 40 тысяч почтовых отделений находятся в шаговой доступности от каждого жилого дома по всей стране. Доля возвратов составляет всего 2–3%. Проверка паспорта при получении снижает риск множественных регистраций в панели.

Опыт коммуникации с администрацией и службой поддержки 1. Общение с участниками панели сводится только к приглашению участвовать в опросах. Может отсутствовать даже служба поддержки.

2. В информационных бюллетенях может встречаться культурно нерелевантная информация (например, упоминание телевизионных программ, которые не показывают в России). Качество перевода бюллетеней, как правило, очень плохое.

3. Служба поддержки пользователей нерегулярно отвечает на вопросы. Ответы приходят на плохом русском языке, либо специалисты вообще не могут понять суть вопроса участника.

1. Общение с панелистами включает регулярные информационные бюллетени и круглосуточную службу поддержки пользователей.

2. Содержательные и интересные информационные бюллетени, включающие последние новости проекта, результаты опросов, ответы на избранные вопросы па- нелистов, благодарности от компаний-заказчиков и т.п.

3. Служба поддержки пользователей оперативно дает ответы на поступающие вопросы, пытается разобраться в проблемах и оказать реальную помощь.

Как показало исследование, далеко не у всех панельных провайдеров существует понимание, что успех этого бизнеса напрямую зависит от заинтересованности и удовлетворенности людей, регулярно участвующих в опросах через Интернет. От этого также зависит и достоверность результатов проводимых исследований, а значит, и доверие к ним компаний-производителей. Личность респондента нередко остается незамеченной, что приводит к падению заинтересованности, низкому проценту отклика и недобросовестному поведению участников. Люди с «романтическим» отношением и нефинансовой мотивацией имеют тенденцию покидать панели, когда к участникам проявляется недостаточно уважения, — остаются только те, кто участвует в опросах ради денег.

Заключение

Качество данных уже несколько десятилетий остается ключевой темой для обсуждения в индустрии маркетинговых исследований. Дополнительные вопросы к качеству возникают с появлением новых методов сбора данных, например исследований с использованием онлайн access-панелей. К сожалению, борьба за качество нередко ведется по мере возникновения «сиптомов болезни». Иными словами, вместо здорового образа жизни, зарядки и закаливания мы просто пичкаем ребенка лекарствами при каждом недомогании. Чтобы начать работать с причинами, а не последствиями возможного ухудшения качества онлайн выборок, нужно прежде всего понять, что главным в исследовательском процессе является отношение к респонденту, поэтому всю тактику и стратегию развития нового метода нужно строить с опорой на мнения людей. В этом смысле создание онлайн панелей не отличается от других бизнесов: понимание потребностей и желаний потребителей помогает компаниям производить продукцию, которая будет пользоваться спросом. Одним из способов «держать руку на пульсе» является регулярный мониторинг мнений участников онлайн панели о самом проекте и его создателях.

Мы считаем, что качество данных онлайн исследований прежде всего зависит от того, кто и почему в них участвует, как строится коммуникация с респондентами, получают ли они адекватную моральную и материальную компенсацию за потраченное время, чувствуют ли уважение к себе. В этой связи существующие технические методы контроля качества являются важными, но не основными. Главной же задачей панельных провайдеров является повышение заинтересованности респондентов за счет создания интерактивных и удобных для заполнения анкет, использования медийных возможностей Интернета на всех этапах коммуникации, включения в исследовательский процесс привычных для людей способов самовыражения и взаимодействия в Интернете, таких как блоги, форумы, коллекции фотографий и видео.

Почти все существующие типы недобросовестного поведения участников панелей связаны с желанием некоторых людей получить вознаграждение, не выполняя работу должным образом. Тем не менее это случается не потому, что участники панели такие плохие, а потому, что мы как провайдеры панелей иногда оказываемся не в силах удержать добросовестных респондентов. Важную роль здесь играет формирование у людей понимания того, что участие в опросах является для них одним из немногих способов влиять на ситуацию и изменять мир вокруг себя. В результате активных действий в этом направлении появляется довольно большая группа лояльных панелистов, которые стремятся полно и честно выражать свое мнение по самым разным вопросам. Вместе с этим растет уверенность, что онлайн исследования вскоре станут основным инструментом сбора качественной и надежной информации.

Вторник, Ноябрь 16th, 2010 Маркетинг