Онлайн исследования и методология социальных наук: новые горизонты, новые (и не столь новые) трудности

Девятко Инна Феликсовна (Государственный Университет — Высшая Школа Экономики, Институт социологии РАН)

Рассуждения о принципиальной методологической новизне онлайн исследований в социальных науках нередко основаны на явном или неявном противопоставлении сетевого опроса, обследования или онлайн эксперимента как техник, обладающих очевидными преимуществами с точки зрения эффективности затрат, широты охвата людей, мест и временных интервалов, использованию Интернета как принципиально новой исследовательской среды: интерактивной, коммуникативно прозрачной, децентрализованной (во всяком случае, с точки зрения наивного пользователя) и в силу этих обстоятельств предполагающей радикальное переосмысление привычных отношений исследователей и респондентов (информантов, испытуемых). В данной небольшой статье я сделаю попытку проблематизировать некоторые кажущиеся очевидными преимущества онлайн исследования как техники традиционного выборочного опроса и указать на возможные направления ее действительно новаторского использования. Кроме того, я кратко остановлюсь на угрозах и возможностях для методологии социальных наук, скрытых в конкурирующих исследовательских программах, ориентированных на «невключенный» или неявный мониторинг коммуникативных потоков в социальных сетях.

Безусловно, с точки зрения: 1) технологичности доступа к респондентам, 2) широты пространственного охвата при фиксированном бюджете, 3) управления временными параметрами опроса для обеспечения его одномоментности (или при необходимости — для реализации сложных процедур последовательного, повторного или привязанного к времени значимых оффлайн событий контакта с отдельными группами опрошенных), 4) контроля за качеством ввода ответов и процессом кодирования и обработки опросных данных, 5) легкости реализации процедур контроля над выборочными единицами, 6) обратной связи с респондентами и некоторых других извечных методологических трудностей — онлайн опросы имеют явные преимущества в сравнении с привычными опросными техниками.

Оценивая в целом качество, т.е. валидность и надежность данных, получаемых в онлайн опросах, мы можем исходить из следующих представлений о диапазоне их значений: внутренняя валидность (по меньшей мере конструктная) сопоставима с валидностью данных, получаемых при использовании других дистантных техник опроса. Хотя для онлайн панелей показана несколько большая тенденция опытных респондентов к систематическому выбору первых ответов, переносу установки на ответ между пунктами табличных вопросов и «быстрой» стратегии заполнения [1], систематические данные относительно конструктной валидности результатов онлайн опросов, позволяющие указать на специфические для данной техники угрозы качеству измерения, пока отсутствуют. Надежность-согласованность данных онлайн опросов в общем случае может достигать нижней границы, а при реализации разумных и ненавязчивых процедур автоматизированного контроля над качеством и полнотой заполнения вопросника быть несколько выше, чем в оффлайн опросе, надежность-воспроизводимость, насколько можно судить по существующим оценкам, примерно равна надежности данных, собранных оффлайн (по крайней мере, с точки зрения основных угроз надежности).

Однако внешняя валидность онлайн данных как возможность обоснованного обобщения выводов выборочного обследования на генеральную совокупность составляет подлинную методологическую проблему, не имеющую легких и очевидных решений. Прежде всего рассмотрим такой специфический и редко упоминаемый аспект внешней валидности, как валидность статистического вывода, т.е. обоснованность базирующихся на выборочных данных статистических выводов об отношениях (т.е. популяционных значениях) мер связи между переменными. Одна из хорошо известных угроз валидности статистического вывода связана с низкой надежностью используемых индикаторов, искажающей оценки величины отношения между изучаемыми переменными, однако в этом аспекте, как отмечалось выше, данные онлайн опросов не отличаются принципиально от других опросных данных. Другие три угрозы валидности вывода требуют большего внимания. Слишком маленькая вероятностная выборка может не обеспечивать достаточной мощности статистического теста, однако выборки онлайн исследований обычно велики и стоимость рекрутирования дополнительных респондентов сопоставима с нижней границей стоимости увеличения объема выборки оффлайн. Вместе с тем мы обычно не располагаем данными о гомогенности или гетерогенности исследуемых совокупностей в тех случаях, когда выборка для онлайн опроса не основана на вероятностной оффлайн выборке (предпочтительно территориальной). Даже если речь идет об опросе, результаты которого предполагается обобщить на такую «привилегированную» совокупность, как пользователи Интернета, мы не располагаем пока данными для оценки угрожающей валидности вывода случайной гетерогенности такого рода выборок. Следует также помнить о том, что существующие выборочные оценки параметров «населения Всемирной сети», на которые мы могли бы опираться, зачастую основаны на выборках из онлайн панелей, сильно смещенных в сторону «профессиональных» респондентов, постоянно участвующих во множестве онлайн панелей в силу утилитарной или иной мотивации. Вместе с тем имеющиеся эмпирические свидетельства относительно систематических ошибок измерения, связанных с «панельным обусловливанием» опытных участников опроса, противоречивы: тренированные респонденты обнаруживают некоторые отличия от новичков в подверженности эффектам социальной желательности и в использовании «низкозатратных» стратегий заполнения, однако не слишком отличаются с точки зрения своей подверженности позиционным эффектам и доли неответов для разных форматов вопроса [1].

Однако главные угрозы внешней валидности связаны все же с задачей обобщения оценок и выводов, полученных на онлайн выборках, на какую-либо генеральную совокупность. Возникающие здесь проблемы более или менее удовлетворительно решаются в тех случаях, когда генеральная совокупность — это пользователи Сети (предпочтительно члены локального языкового сообщества), подписчики тех или иных сетевых сервисов либо объединенные организационной принадлежностью пользователи локальной сети (например, студенты университета, сотрудники фирмы). Из трех главных угроз реперезентативности: 1) отсутствия основы выборки, 2) проблем охвата, т.е. неспособности используемой выборочной процедуры охватить реальную генеральную совокупность (т.е. задать известную ненулевую вероятность попадания в выборку для каждой единицы совокупности) и 3) неответов либо отказов от участия — в описанных случаях обычно удается решить первые две. (Отметим здесь уникальные преимущества интернет-обследований для изучения деловых и бизнес-организаций, для которых существуют множественные сетевые основы выборки и источники данных.) Также проблемы универсализации результатов онлайн опросов поддаются решению в тех случаях, когда онлайн выборка получена в результате оффлайн опроса (например, в результате рекрутирования респондентов телефонного опроса со случайным дозвоном, RDD¹). Конечно, в этих случаях возникают систематические ошибки выборки, связанные с систематическими различиями в отклике на приглашение участвовать в опросе, различиями в вероятности полного заполнения анкеты и т.п. Однако наличие априорной информации об исследуемой генеральной совокупности, основанной на оффлайн выборке, позволяет провести апостериорную коррекцию данных онлайн опроса, в том числе выборочных оценок коэффициентов связи между исследуемыми переменными, с помощью подхода, основанного на моделировании отношений между переменными (model-based approach), перевзвешивания или более спорных приемов приписывания отсутствующих значений на основе сопоставления респондентов по некоторым ключевым переменным (matching). Серьезные методические исследования возможностей устранения выборочных ошибок онлайн опросов с помощью основанных на данных из базовых (т.е. служивших источником рекрутирования респондентов для онлайн исследования) оффлайн панелей пока немногочисленны. Недавнее масштабное исследование такого рода, нацеленное на уточнение возможностей использования процедур перевзвешивания и коррекции выборочных оценок, полученных в онлайн опросе с помощью основанных на общенациональной оффлайн выборке оценок предрасположенностей (propensity scores), продемонстрировало возможности некоторого улучшения выборочных оценок для дихотомических переменных, однако для остальных переменных перевзвешивание и приписывание значений не привели к существенным изменениям в точности оценивания параметров генеральной совокупности, что, как отмечают авторы исследования, бросает тень сомнения на применимость стандартных post hoc процедур коррекции ошибок отбора для участников онлайн опросов [2].

Однако все эти процедуры неприменимы, если речь идет о наиболее распространенном типе онлайн панелей, основанных на добровольном саморекрутировании (именуемых также access или opt-in панелями). Во всех этих случаях мы не можем определить генеральную совокупность и применить методы вероятностного отбора. Соответственно, валидные обобщенные выводы о характеристиках изучаемых субъектов, помимо тех, кто был непосредственно охвачен опросом, невозможны. Попытки некоторых исследователей рынка обосновать использование случайных подвыборок из целевых выборок, основанных на самоотборе, через апелляции к модельному подходу, джекнайфу или чудесному совпадению оценок отдельных параметров целевых выборок с оценками, полученными в оффлайн обследованиях, проведенных на вероятностной выборке², часто осознанно или неосознанно мотивированы понятным, но не оправдывающим отступление от выстраданных в давних методологических дискуссиях правил обоснованного статистического вывода желанием снизить издержки на проведение масштабных маркетинговых опросов в мире, где массовизация опросного ремесла и сверхэксплуатация респондентов привели к «опросной усталости», выражающейся в устойчивом росте доли неответов и отказов от участия в исследовании. Как справедливо отмечает Г. Натан, «…изобилующие повсюду интернет-версии развлекательных опросов, потребительских обследований и анкет, нацеленных на получение обратной связи, а также опросов, основанных на самоотборе и добровольной регистрации, адресованы любому, кто захочет отвечать. Никакие валидные выводы не могут основываться на таких попытках, никак не связанных с научными опросами. К сожалению, большое число широко распубликованных призывов к участию потенциальных респондентов в этих интернет-опросах привело к появлению огромного количества респондентов, которые, однако, не являются репрезентативными по отношению к какой-либо хорошо определенной совокупности. Тот факт, что число полученных таким образом респондентов очень велико (исчисляясь иногда сотнями тысяч), пытаются представить как залог надежности результатов, однако в действительности не существует даже возможности оценить внутренне присущие этим подходам смещения. Попытки преодолеть последствия отсутствующего планирования выборки с помощью постстратификации или других методов взвешивания либо приписывания значений (imputation) неэффективны для исправления возникающих смещений» [3].

Существуют ли очевидные перспективы преодоления описанных угроз внешней валидности для онлайн обследований? Возможно, некоторые технические решения проблем множественного заполнения, манипулирования идентичностью и, вероятно, центральной проблемы — создания надежных основ для олайн выборок — будут найдены по мере развития все более персонализированных средств коммуникации (в частности, распределения нынешней функциональности ПК между новыми специализированными устройствами, предназначенными для сетевой коммуникации, хранения текстовых и графических данных и т.п.). Не исключено также, что постоянно трансформирующееся законодательство в области «цифрового гражданства», т.е. прав и ответственности, возникающих при использовании сетевых технологий, также приведет к сужению области анонимности пользователя (эти процессы необязательно послужат росту свободы и демократии, однако решат некоторые методические проблемы онлайн исследований). Однако мне представляется, что социологам стоит воспользоваться нынешней «технологической паузой» для более широкого внедрения в исследовательскую практику альтернативных целевым онлайн выборкам методов сетевых исследований, обладающих не только внешней, но и внутренней валидностью.

Первая альтернатива несовершенным opt-in опросам, являющаяся во многих отношениях методически безупречным решением, пусть и требующим мобилизации значительных финансовых ресурсов и создания инфраструктуры для академического сотрудничества (с возможным участием бизнеса), — создание полноценной общенациональной онлайн панели, основанной на вероятностной выборке. Имеющийся зарубежный опыт такого рода исследовательских коллабораций, предполагающий при необходимости обеспечение доступа в Интернет для респондентов, отобранных с помощью полноценной (оффлайновой) основы выборки, может расцениваться как преимущественно позитивный. (Впечатляющим европейским примером такого опыта может служить нидерландский проект MESS «Продвинутая междисциплинарная среда для измерения и экспериментирования в социальных науках», включающая в себя лонгитюдную панель LISS (http://www.centerdata.nl/en/MESS), сопоставимую по своим возможностям с лучшими общенациональными территориальными выборками домохозяйств.)

Еще одна методическая альтернатива, незаслуженно игнорируемая социологами, — экспериментальные и квазиэкспериментальные планы. Далеко не всегда стратегическая цель исследования, академического или прикладного, в действительности требует решения задачи выборочного оценивания параметров генеральной совокупности. Во многих ситуациях осмысленные вопросы относительно структуры причинных связей между независимыми и зависимыми переменными (например, между политическими установками и электоральным поведением или стилем рекламного сообщения и его эмоциональной оценкой и т.п.) предполагают разработку именно экспериментального плана, обладающего несомненными преимуществами в проверке каузальных моделей. Оценка величины эффекта в генеральной совокупности по имеющимся выборочным наблюдениям во всех этих случаях — задача столь же вторичная по отношению к задаче обнаружения собственно эффекта в эксперименте, как, скажем, оценивание популяционного значения коэффициента корреляции между воздействием медицинского препарата и продолжительностью ремиссии для совокупности всех потенциальных и реальных пациентов в сравнении с задачей экспериментальной проверки самого факта наличия описанного воздействия. Иными словами, лишь инерция методических предпочтений и отсутствие прочной традиции экспериментирования в социологии³ препятствуют осознанию чрезвычайно широких возможностей онлайн экспериментов, для которых внутренняя валидность и рандомизация условий являются куда более существенными, нежели обеспечиваемая вероятностным отбором респондентов внешняя валидность. В последние годы эти возможности столь активно осваивались представителями других наук о человеке (прежде всего психологами), что возникла необходимость в создании не только методических пособий и соответствующих сетевых ресурсов (например, http://psych-wextor.unizh.ch/wextor/en/), но и специальных руководств, регулирующих соблюдение этических норм при проведении экспериментов в сети [4].

Особого упоминания заслуживает такая недооцененная перспектива онлайн экспериментирования, как факторные опросные планы (factorial survey design), использующие технику виньеток. Факторные опросные планы, ныне преимущественно используемые в компьютеризованных телефонных опросах и методических экспериментах, могут быть легко реализованы и в онлайн опросах. В момент опроса встроенные в компьютерную программу соответствующие каждому фактору, т.е. независимой переменной экспериментального плана, операторы случайным образом выбирают его конкретное значение, воплощая практически любой по уровню сложности полностью рандомозированный многофакторный эксперимент. План может быть сколь угодно методически изощренным, но его реализация не требует никаких усилий со стороны интервьюера и проходит незамеченной со стороны респондента. Техника виньеток — специально созданных, часто вымышленных, описаний социальных объектов, индивидов и ситуаций, составленных из отдельных, систематически варьируемых переменных-признаков, была специально разработана для исследования установок, повседневного восприятия и имплицитных «причинных моделей» (подробнее см.: [5]). Использование виньеток в факторном эксперименте позволяет систематически варьировать уровни переменных-факторов, определяющих установки, убеждения, коллективные представления и социальные категоризации, и выявлять причины их формирования. Таким образом, легко реализуемые в онлайн среде, в том числе на любой из уже существующих платформ для онлайн экспериментов, факторные опросные планы позволяют совместить внешнюю валидность репрезентативных выборочных опросов с несомненной внутренней валидностью рандомизированного, многомерного (несколько независимых переменных), многоуровневого эксперимента.

Наконец, онлайн исследования открывают перспективу новых приложений для методологии respondent-driven sampling, RDS — «выборок, управляемых респондентом», активно развиваемой в социологии и за ее пределами (в частности, в биомедицинских исследованиях). Выборка, управляемая респондентом — разновидность сетевой выборки⁴, типологически близкая к выборке, создаваемой методом «снежного кома». Сетевые выборки, в исходной своей форме рассматриваемые в качестве целевых (т.е. неслучайных), при использовании методологии RDS позволяют количественно оценивать вероятность включения в выборку для отдельного респондента и величину систематической ошибки, связанной с межиндивидуальными различиями в этой вероятности, а следовательно — получать валидные оценки параметров совокупности. Выборки, управляемые респондентом, это адекватный метод исследования ограниченных или даже «закрытых» популяций, границы которых могут быть заданы небольшим количеством признаков и для которых характерна высокая плотность внутригрупповых связей (студенты университета, профессиональные группы и т.п.). При достаточной длине цепочек (циклов) рекрутирования респондентами друг друга такие полностью связанные совокупности обладают следующим важным свойством: состав финальной выборки при достижении равновесия становится независимым от того, каков был набор первичных респондентов (seeds) [8; 9; 10]. Не вдаваясь здесь в технические детали, отметим, что соблюдение некоторых методических правил, связанных с выбором первичных респондентов (выбор социально активных «социометрических звезд»; учет территориального размещения целевой генеральной совокупности; выбор первичных респондентов, максимально гетерогенных по социально-демографическим признакам, влияющим на формирование социальных связей и т.п.), позволяет обеспечить переход от целевой выборки-«посева» к собственно вероятностной выборке с поддающейся оцениванию ненулевой вероятностью попадания в выборку для каждого респондента. Возникающие в процессе отбора различия в вероятности включения в выборку, а также соответствующие систематические смещения могут быть учтены в оценках параметров, поскольку сам процесс создания сетевой выборки в данном случае позволяет получать необходимую априорную информацию о целевой генеральной совокупности (кто кого рекрутировал, каков состав личных связей в совокупности для каждого последующего звена и т.п.). Отметим, что в отличие от более традиционных выборочных методов собственно основа выборки (sampling frame) здесь создается после завершения отбора на основе информации о респондентах и их социальных связях, собранной в этом процессе.

Каковы перспективы использования методологии RDS в онлайн исследованиях? Хотя недавние методические эксперименты с использованием этого подхода в онлайн опросах показали не очень высокую точность получаемых выборочных оценок для сравнительно небольших совокупностей (при многократно превосходящей традиционные методы выборочных опросов дешевизне и скорости построения выборки) [10], нам представляется, что в ближайшем будущем в этой области возможны радикальные методические новации. Открывающиеся возможности связаны с потенциальным переходом от построения RDS-выборок институционально замкнутых групп (например, студентов конкретного университета) к потенциально неограниченным и многомерным, т.е. определяемым на основе множества переменных-признаков, популяциям, использующим в качестве платформ для коммуникации и взаимодействия современные социальные сети⁵ (MySpace, Facebook, «ВКонтакте» и т.п.). Преимущества использования таких базирующихся на интернет-платформах социальных сетей для построения RDS-выборок очевидны: необходимая для оценивания выборочной ошибки личная информация о социально-демографических характеристиках потенциальных первичных респондентов и их списки контактов принципиально доступны для исследователей до начала самой процедуры построения выборки. Эта информация с легкостью может быть использована для оценки и коррекции выборки в процессе ее построения (а не апостериорно). В частности, более точной оценке уже на первом этапе отбора могут быть подвергнуты «коммуникативные возможности» первичных респондентов. (Известно, что эффективность выборки такого типа связана с возможностью изначально отобрать небольшое количество super-seeds — респондентов, дающих начало длинным цепям рекрутирования и имеющих высокую «степень», определяемую через количество социальных связей в исследуемой совокупности.) Кроме того, социальные сети содержат много априорной информации о целевых совокупностях и первичных социальных группах, представляющих значительный исследовательский интерес, однако не имеющих однозначно заданной институциональной принадлежности (т.е., например, не студенты конкретного учебного заведения, а студенты-гуманитарии, не члены локальных киноклубов, а любители кино и т.п.), что позволяет использовать множественные основы выборки⁶.

Заметим, однако, что все эти новые возможности требуют ускоренной работы над созданием методических и этических «кодексов» онлайн исследований, а также ответственных за их воплощение в жизнь выборных органов профессиональной саморегуляции и контроля. Это позволит уменьшить опасность ведущей к росту доли неответов неоправданной эксплуатации потенциальных респондентов (особенно реальной в силу легкости доступа в данное исследовательское поле для непрофессиональных исследователей) и создать минимальные барьеры для злоупотреблений возможностями социальных сетей в пропагандистских, рекламных и иных целях, не связанных с производством такого публичного блага, как научное знание об обществе или отдельных социальных группах.

Говоря о перспективах и опасностях использования многообразной информации о группах и индивидах, разбросанной во Всемирной сети, нельзя не упомянуть о тех тенденциях массового персонального профилирования, не основанного на информированном согласии трекинга сетевого поведения и, говоря шире, применения неопросных и не предполагающих контакта с изучаемыми индивидами подходов к получению онлайн данных, которые довольно отчетливо проявились в последние несколько лет. Методы сбора и анализа данных об индивидуальных предпочтениях, субъективных семантических пространствах (индивидуальных и групповых системах значений), автоматизированного контент-анализа публичных и частных документов, исходно разрабатывавшиеся психологами и социологами, в силу многократного увеличения доступности «дружелюбных к непрофессиональному пользователю» средств автоматизированного анализа данных, а также экспоненциального роста корпуса сетевых документов и их метаописаний стали все чаще применяться для альтернативных академическим и прикладным исследованиям целей — коммерческого и некоммерческого сбора персонализированной информации о предпочтениях, убеждениях и поведении, не предполагающего информированного согласия исследуемых индивидов, а также «невключенного» (т.е. скрытного, иногда с использованием троянских программ) наблюдения за отдельными пользователями и их группами. Разумеется, такого рода «исследованием мнений», помимо социологов, психологов и культурологов, издавна занимались разного рода спецслужбы и самодеятельные энтузиасты сыска, однако нынешние масштабы явления создают ощутимую угрозу возможностям добросовестного использования сетевой информации в науч- ных или практических целях. Можно ожидать, что растущее общественное осознание скрытых здесь угроз личным свободам приведет в ближайшем будущем к трансформации по крайней мере некоторых национальных законодательств, определяющих границы между приватным и публичным и ограждающих граждан от несанкционированного сбора явно или неявно представленной в сети персональной информации. Однако существует как минимум две причины для того, чтобы работающие в области социальных наук исследователи осознали существующие здесь проблемы в качестве не только общегражданских, но и профессионально значимых. Во-первых, генерирование разного рода информационного шума, описывающего результаты таких «сетевых наблюдений», ведет к определенной инфляции валидных исследовательских данных, по крайней мере в глазах части потенциальных заказчиков и потребителей⁷ подрывая сложившиеся основы исследовательской роли социолога. Во-вторых, несколько замедленная реакция специалистов по методологии социальных наук на быстрые изменения способов и технологий онлайн репрезентации социальной информации приводит не только к утрате исследовательских возможностей, но и к снижению статуса социологической методологии в глазах представителей других наук. Успехи в разработке новых методов исследования в значительной мере обеспечили дисциплинарную автономию и престиж нашей науки. В 1930–1950-е гг. в схожей ситуации революционных изменений в средствах массовой коммуникации работы П. Лазарсфельда и его коллег, в частности в области исследования социальных эффектов новых медиа [12; 13] и процессов распространения личного влияния на установки, мнения и предпочтения в первичных группах и территориальных сообществах [14; 15], привели к формированию того, что сейчас воспринимается и внутри нашей дисциплины, и за ее пределами как методологическое «ядро» социологии. Для того чтобы сохранить способность к лидерству и сегодня, социологическая методология должна ускорить продвижение в разработке новых методов анализа агрегированной онлайн информации, новых подходов к контент-анализу символических репрезентаций, новых моделей, описывающих распространение социального влияния и трансляцию мнений и предпочтений во Всемирной сети, сопоставимых с теми блестящими результатами, которые были получены более полувека назад ее отцами-основателями.