Кто и зачем участвует в онлайн-опросах
За последние два-три года онлайн-исследования в России продемонстрировали значимый рост. И это, несмотря на часто звучащие реплики об их нерепрезентативности, о проблемах при работе с людьми старшего возраста и малообеспеченными группами. Но это не органические пороки онлайн-опросов, а лишь ограничения, к тому же не слишком существенные. Далеко не всегда (и даже, скорее, крайне редко) заказчику интересны малообеспеченные группы потребителей, да и число маркетинговых задач, для решения которых не требуется репрезентативность выборки весьма велико.
Гораздо важнее, с точки зрения, качества данных онлайн-опросов — и это любимый вопрос клиентов — знать «кто все эти люди, заполняющие анкеты за своими компьютерами»? Почему они это делают? Не являются ли они все профессиональными респондентами? Насколько можно доверять их ответам?
Конечно, эти же вопросы интересуют не только клиентов, но и самих исследователей. Чтобы ответить на них мы провели масштабное исследование мотивации участников панели InternetOpros.ru.
При этом мы преследовали две основные цели:
- Научиться более эффективно управлять панелью, а для этого сегментировать панелистов по мотивации к участию в онлайн-панели,
- Продемонстрировать рынку на конкретном примере, что в виртуальном мире все так плохо, там живут те же люди, они адекватны, их ответам можно доверять.
Основные этапы исследования сведены в нижележащую таблицу
| Когда | Когда | Зачем |
| Регулярный мониторинг удовлетворенности панелистов | Два раза в год, начиная с 2009 года | Начальные гипотезы о факторах мотивации |
| Офлайн фокус-группа с участниками панели InternetOpros.ru | Февраль 2010 года | Уточнение гипотез, подготовка анкеты |
| Количественный опрос участников панели InternetOpros.ru | Сентябрь 2010 года | Количественная оценка важности факторов и сегментация панелистов |
Важно, что количественный опрос проводился по короткой «оценочной» анкете после завершения участником очередного опроса. Это позволило задавать вопросы, не абстрактно, а применительно к только что завершенному опросу по горячим следам. Всего было опрошено 5327 панелистов. Вопросы, которые мы понять на стадии «оценочной» анкеты:
- Оценка респондентами только что законченного опроса по ряду факторов (они были сформулированы в анкете)
- Причины участия респондентов в только что законченном опросе
- Отношение участников панели к опросам в целом
Деньги vs идея
В ответах на прямой вопрос «Почему Вы приняли участие в этом опросе?» превалируют нематериальные мотивы. Деньги, конечно, тоже важны, но они только на четвертом месте, как это следует из Диаграммы 1
Диаграмма 1. Почему панелисты соглашаются заполнить анкету?
Источник: Tiburon Research, 5327 интервью
Однако можно предположить, что респонденты водят исследователей за нос, говорят не то, что думают, чтобы «выглядеть красиво». Популярность ответа «Чтобы высказать мнение, что-то изменить» действительно может быть обусловлена его социальной желательностью. Чтобы проверить эту гипотезу мы посмотрели на то, как факторы взаимодействуют между собой и какие группы образуют.
Для этого мы сегментировали панелистов по причинам участия в опросе. Были выделены пять устойчивых, хорошо различаемых сегментов:
«Небезразличные»;
«Азартные»;
«Убивающие время»;
«Любопытные»;
«Профи».
Вот их краткая характеристика (в скобках указана доля каждого сегмента, в сумме — 100%):
| Небезразличные (24%). Считают, что опросы — нужное дело (71%), ценят возможность высказывать свое мнение (69%) и узнавать из опросов что-то новое (55%). Стараются давать максимально точные ответы (97%), любят открытые вопросы за возможность точно выразить свои мысли (50%). Добросовестны. |
| Азартные (20%). Важна и материальная сторона (деньги — 80%, призы — 26%), и возможность высказать мнение, что-то изменить (66%). Они фанаты опросов, часто являются членами нескольких панелей. Не склонны к недобросовестному поведению, т.к. действительно готовы делиться своим мнением за вознаграждение. |
| Убивающие время (16%). Самая невовлеченная группа панелистов. Участвуют, т.к. «ничего сложного, а деньги капают» (56%), в перерывах между делами, чтобы отвлечься (54%). Менее других склонны делиться действительно личной информацией, не готовы прилагать существенные усилия, добросовестны до тех пор, пока «это их не напрягает». |
| Любопытные (31%). Любопытство — основной мотив участия: узнать, про что спрашивают на этот раз (66%), что будет в конце опроса (42%), узнать что-то новое (37%). Чувствительны к интересности темы, часто торопятся при заполнении анкеты, если тема им не очень интересна (18%) или лукавят, чтобы пройти отбор (скрининг) и посмотреть, «что внутри» (8%). На пути к добросовестности препятствием является не столько корысть, сколько природное любопытство. |
| Профи (10%). Участвуют во всех опросах без разбора (97%), деньги, безусловно, важны (44%), члены нескольких панелей одновременно (21%), стремятся во чтобы то ни стало закончить начатую анкету (97%), раздражаются, если не подходят по критериям отбора (стадия скрининга). При этом тематика опросов важна для них, так что в случае совпадения интересов шанс получить адекватные ответы достаточно высок (60%). Вероятность недобросовестного поведения — высокая. |
Источник: Tiburon Research
Если теперь изобразить полученные сегменты в виде матрицы, на осях которой находятся качество данных и вовлеченность панелистов в опрос, то получим следующее (см. Диаграмму 2):
Диаграмма 2. Качество и вовлеченность
Источник: Tiburon Research
Среди полученных сегментов есть только один однозначно нежелательный — это «Профи». В силу чрезмерной вовлеченности и объективно низкого качества данных, они представляют реальную угрозу качеству данных. Причем, несмотря на то, что другим сегментам в той или иной (хотя и в гораздо меньшей) степени тоже может быть присуще недобросовестное поведение, их нельзя считать нежелательными, т.к. панель должна отражать реальный мир, а реальный мир состоит не только из «Небезразличных» людей.
Результаты исследования, характеризующие сегменты панели в разрезе влияющих на качество параметров, приведены в Таблице 1
Таблица 1.
Источник: Tiburon Research
А вот как участники панели InternetOpros.ru, входящие в разные сегменты, оценивают анкету только что законченного опроса:
| % «хорошо» + «отлично» | Небезразличные, 24% | Азартные, 20% | Убивающие время, 16% | Любопытные, 31% | Профи, 10% |
| Дизайн, внешний вид | 96 | 95 | 95 | 95 | 95 |
| Удобство заполнения | 97 | 95 | 96 | 96 | 95 |
| Понятность анкеты | 98 | 96 | 96 | 97 | 95 |
| Грамотность языка | 98 | 98 | 98 | 97 | 97 |
| Интересность темы | 96 | 93 | 89 | 92 | 90 |
| Длительность | 91 | 87 | 83 | 85 | 85 |
| Вознаграждение | 85 | 78 | 80 | 84 | 79 |
| Возможность точно выразить мысли | 93 | 89 | 86 | 89 | 85 |
Кратко рекомендации по работе с описанными сегментами можно свести в следующую таблицу:
| Небезразличные, 24% | Азартные, 20% | Убивающие время, 16% | Любопытные, 31% | Профи, 10% |
| Качество: Очень высокое | Качество: Высокое | Качество: Зависит от сложности и интересности опроса | Качество: Зависит от сложности и интересности опроса | Качество данных: Низкое |
| Факторы риска: Плохая анкета, плохой перевод, небрежное оформление, другие признаки неуважения | Факторы риска: Принадлежность к нескольким панелям в мультипанельных проектах | Факторы риска: Сложные / скучные анкеты, личные вопросы, плохой перевод | Факторы риска: Очевидный скрининг, занудные анкеты | Факторы риска: Отсутствие средств объективного контроля качества данных |
| Что делать: Поддерживать вовлеченность (нематериальные стимулы) | Что делать: Поддерживать вовлеченность (материальные и нематериальные стимулы), бороться с множественными регистрациями | Что делать: Usable анкеты, возможность прерваться по ходу заполнения и продолжить позже | Что делать: Usable анкеты, развлекать, отказаться от очевидных отборочных вопросов — сложный скрининг, контроль времени заполнения | Что делать: Бороться: множественные регистрации, контроль времени заполнения, проверочные вопросы |
Выводы
Доля участников панели, представляющих опасность для качества данных, мала — это сегмент «Профи», составляющий лишь 10%, что соответствует стандартной величине рекомендуемого запаса выборки. К тому же с этими людьми можно эффективно бороться техническими средствами (отслеживание множественных регистраций, контрольные вопросы, система штрафов), удерживая долю профессиональных респондентов на низком уровне.
С панелистами, входящими в остальные сегменты, вполне можно эффективно работать. Не все они, конечно, идеальны, но на наш взгляд, это отражает реальную действительность, которую мы пытаемся измерить.
Комплексная (денежная и неденежная) мотивация, так же как и удобные, понятные и красивые анкеты жизненно необходимы для поддержания качества панели на высоком уровне.
Артем Тинчурин