Как уберечься от некачественно собранных данных?
В зависимости от типа исследования, источниками информации являются интервью с респондентами (клиентами, дистрибьюторами, экспертами) в той или иной форме и/или существующие данные (статистика, базы данных, другие отчеты и т. д.). Чтобы заведомо уберечь себя от некачественно собранных агентством-исполнителем данных, нужно:
Еще до старта опроса обсудить вопросы ответственности за некачественный результат. Качество в результатах полевых исследования напрямую зависит от стоимости и сроков. Поэтому стоит подходить к формированию задачи и опросника реалистично, не пытаясь узнать всю возможную информацию в одном интервью. В то же время, если результат обещан, то должен быть выполнен, причем качественно.
Во время опроса проверить ход ведения интервью (посмотреть как и где проводятся интервью: уличные — по маршрутным листам, телефонные — по записям или визитам в офис к подрядчику).
После опроса — контроль полноты заполнения, отсутствие значительных логических противоречий в массиве данных.
Еще до старта исследования нужно обратить внимание на моменты, которые работают на повышение достоверности данных:
1. Чётко понимать целевую для опроса
Этот вопрос важно сформулировать и прояснить на этапе создания технического задания (ТЗ), поскольку полученные результаты будут напрямую зависеть от границ определения аудитории — кого мы опрашиваем, кого не опрашивает и почему.
В одном из последних исследований мы столкнулись с проблемой различного понимания потребителя у коммерческого директора, главного технолога и генерального директора. Задачу ставил генеральный директор, в ТЗ все чётко прописано, более того, получены корректные результаты, но пользы предприятию немного в связи с очень широкими параметрами опроса (в аудиторию респондентов попало только 10% реальной целевой аудитории). В итоге мы дополнили опрос необходимыми респондентами, но проект растянулся и вышел за рамки изначального бюджета.
Этой проблемы можно было бы избежать при согласовании топ-менеджментом параметров исследования между собой до начала проекта.
2. Свести к минимуму возможность ошибки выборки
При выборе метода опроса попросите исследователя дать оценку ошибки выборки, которая будет получена. Чем ошибка меньше, тем точнее будут результаты. Этот подход работает для всех видов количественных исследований (опросов большого количества респондентов в частности).
3. Проверить результаты с помощью других агентств
Как это работает? Аналогичная задача ставится нескольким агентствам, и полученные результаты сравниваются между собой. При одинаковой методике итоги будут похожими. Метод более дорогой, но если вопрос очень важен для дальнейшего развития компании — например, для выхода на новый (особенно зарубежный) рынок точность результатов должна быть достаточно высокой из-за высокой стоимости ошибки.
Один из наших клиентов благодаря подобному подходу сохраняет лидерские позиции на рынке уже несколько лет даже в условиях сильного рекламного давления на потребителя со стороны прямых конкурентов.
Чек-лист качественно собранных данных
Данные собранны качественно, если:
• Данные собирались из различных источников (желательно, независимых друг от друга).
• Данные не противоречат друг другу (либо противоречие оценено, логически объяснено и исключено из результатов исследования).
• На основании полученных данных можно сделать выводы о целях исследования (собранная информация аргументировано и точно отвечает на поставленные вопросы).
Если вы получили неверные данные, вы теряете не только деньги, потраченные на исследования, но и возможную прибыль и место на рынке, ведь опираетесь на данные, которые не соответствуют действительности. Чтобы этого не случилось, нужно прописать в техническом задании подрядчику следующее:
1. Предоставление оригиналов анкет
Самый элементарный способ убедиться, что опрос действительно проводился. К тому же, эти анкеты могут понадобиться в дальнейшей деятельности вашего маркетингового отдела. Ведь могут возникнуть новые вопросы, которые не ставились перед исследователями. И вполне возможно, что ответы на эти вопросы можно самостоятельно «вытянуть» из данных, уже указанных в анкетах.
2. Контрольная выборка
Прописывайте в техническом задании необходимость проведения контрольного опроса вашими сотрудниками или третьей стороной. Так вы будете уверены, что респонденты действительно были опрошены. Сразу указывайте размеры контрольной выборки, потому что слишком маленькая контрольная выборка может быть нерелевантной, а слишком большая — дорогостоящей.
3. Проверяйте как агентство контролирует полевиков
Маркетинговые агентства всегда проводят внутренний контроль результатов опроса (ведь от качества предоставленных данных зависит репутация компании). Указывайте в ТЗ, что вам необходим отчет по результатам этого внутреннего контроля: какие именно анкеты проверялись, и верны ли они или нет. Проверку деятельности подрядчика проще всего начинать именно с такого «контроля контроля».
4. Контроль работы аналитиков
Требуйте указывать происхождение информации и методы, которые используют аналитики при её обработке. Так вы будете знать, что собранные первичные данные были обработаны качественно и верно.
Но! Не вдавайтесь в крайности и не пытайтесь контролировать каждый шаг исследователей, это значительно увеличит сроки проведения работ. К тому же горы отчетов, которые придется писать исследователям, однозначно раздуют стоимость исследования.
Как правильно поставить ТЗ?
Ошибки, сделанные до исследования на этапе формирования технического задания, как правило, являются непоправимыми. К сожалению, данный тип ошибок является наиболее распространенным.
ТЗ — это документ, подготавливаемый заказчиком совместно с исследовательской компанией, в котором четко прописано:
• ЧТО заказчик получит в результате исследования,
• в какие СРОКИ,
• и за какие ДЕНЬГИ.
Запрос на исследование
В этом блоке находится видение ситуации — описывается проблема заказчика и результы, которых он хочет добиться, заказывая исследование. Данный раздел введен в структуру технического задания для того, чтобы заранее избежать расхождения в понимании проблемы и целей исследования. Они должны отражать то, что должно быть достигнуто для решения проблемы заказчика.
Желательно в запросе описать:
Как будут использованы результаты исследования, кто, где, когда и как будет принимать управленческие решения на основании исследования. Наличие данного пункта поможет исследователю сформировать предложение по ТЗ, максимально приближенное к задачам заказчика.
Зона ответственности исследователя при формировании ТЗ
1) Методы сбора информации. В этом разделе подробно описываются методы, с помощью которых исследовательская компания собирается получить необходимую в рамках исследования информацию, а также обосновывается их выбор.
2) Описание результатов исследования. Здесь должен быть перечень и описание данных, которые будут получены в результате исследования. На основе этого ТЗ заказчик сразу же может определить, удовлетворяют ли его результаты исследования, либо требуется дальнейшая проработка технического задания.
3) Перечень этапов — описание последовательности действий. Отражает что, зачем и когда будет делаться, какие результаты будут получены на каждом этапе.
4) Сроки и стоимость исследования. В данном разделе указывается стоимость исследования, а также сроки его проведения.
5) Форма предоставления результатов. В данном разделе указывается, в каком виде заказчику будут предоставлены результаты исследования.
При согласовании технического задания следует обратить внимание на следующие моменты:
• Совпадает ли понимание проблемы, отраженное исследовательской компанией в техническом задании, с вашим взглядом?
• Совпадают ли цели и задачи, указанные вами в запросе на исследование, с теми, которые указаны в техническом задании (не произошло ли подмены целей и задач на те, которые «удобны» для исследовательской фирмы)?
• Обоснован ли выбор методов исследования, насколько логично это обоснование; описаны ли предложенные методы?
• Совпадают ли результаты исследования, указанные в техническом задании, с теми, которые вы хотели бы получить?
• Устраивают ли вас предложенные сроки и стоимость исследования?
• Как оформлено техническое задание (аккуратность оформления, наличие фирменного стиля, отсутствие грамматических и орфографических ошибок).
• Не перегружено ли техническое задание специальными терминами, нет ли попытки задавить заказчика авторитетом? (без специальных терминов в техническом задании не обойтись, но они не должны употребляться без надобности; желательна расшифровка всех использованных терминов).
• Не пропущены ли какие-либо из основных пунктов технического задания (цели, методы, сроки, стоимость)?
К оценке технического задания необходимо подойти с особой ответственностью, чтобы избежать неприятных последствий, например:
• Выбора недостаточно компетентного исследователя (в том случае, если вы отправили запрос на исследование в несколько исследовательских компаний и теперь сравниваете полученные предложения, чтобы окончательно выбрать исполнителя).
• Необходимости менять что-то уже в процессе исследования, что, во-первых, не всегда возможно, а во-вторых, может отразиться на качестве полученной информации, сроках и стоимости проведения исследования.
Все возникшие в ходе знакомства с техническим заданием вопросы необходимо прояснить при личной встрече с представителями исследовательской компании.
Лучше провести такую встречу перед заключением договора (даже если техническое задание не вызвало никаких вопросов), чтобы наметить структуру взаимодействия заказчика с исполнителем во время проведения исследования.
Золотое правило военной разведки
Я хотел бы поделиться полезным опытом моего тестя, который может пригодиться и вам. Тесть 20 лет прослужил в военной разведке. Не секрет, что технологии сбора и обработки информации что в военной разведке, что в маркетинговых исследованиях схожи примерно на 80%. Оставшиеся 20% смело можем отдать отраслевой специфике — Джеймсу Бонду и военным играм с одной стороны, массовым полевым опросам и кодексу ESOMAR с другой.
Обучение военных разведчиков во многом строится на наблюдении за деталями и выделению из них разведывательных признаков (в терминологии исследователей их можно сравнить с трендами/ключевыми фактами). Признаков и в разведке, и маркетинговых исследованиях много, но как отделить действительно полезные, содержащие ценные идеи (инсайты), от информационного шума или даже дезинформации конкурентов?
Конечно, все данные проверить таким образом нельзя, но самые важные показатели (объем, емкость рынка, доля компании и конкурентов) вполне по силам не только международной корпорации, но и компании со средним оборотом.
Чаще всего для проверки используются:
• данные официальной статистики (точность очень сильно зависит от прозрачности отрасли и размера серой/черной части)
• открытые источники (интервью конкурентов в СМИ)
• существующие базы данных со статистикой отрасли
• результаты опросов экспертов отрасли
Сравнивая полученные данные с внутренней статистикой компании и своим опытом, вы можете лучше понять свою позицию на рынке и спланировать действия по ее кардинальному улучшению.