03 Апр 2013, 09:30

Как проверить достоверность данных для исследования

Проверка качества собранных данных — обязательная составляющая любого маркетингового исследования.

Как проверить достоверность данных для исследования

Проверка качества собранных данных — обязательная составляющая любого маркетингового исследования. Как получить максимально достоверные данные для исследования и избежать фальсификаций?

 

При планировании маркетингового, социологического или политического исследования, обязательно стоит продумать, как вы проконтролируете качество «поля» — достоверность собранных данных. Потому что в 99% случаев при сборе информации возникнут ошибки. Вы тщательно подготовите исследование, детально распишете требования к респондентам — а интервьюеры опросят всех подряд или просто выдумают ответы. Если работников не проконтролировать, будет именно так, даже не сомневайтесь. А можно ли принять эффективное решение, базируясь на фальсифицированных данных — вопрос риторический.

Едва ли не единственный метод, который гарантирует 100-процентную достоверность данных — повторные мини-интервью (например, телефонные) со всеми без исключения респондентами. Естественно, затраты на такую проверку поля составят настолько огромную часть бюджета исследования, что на практике этим почти никто не занимается. Как же получить от ваших полевиков максимально достоверные данные для исследования и избежать фальсификаций? Контроль достоверности информации можно разбить на три этапа.

До сбора данных

Контроль качества данных необходимо начинать еще до сбора информации от респондентов. Во-первых, обсудите штрафные санкции за фальсифицированные ответы. Это может быть как обязательное переделывание бракованного поля подрядчиками за свой счет, так и полный отказ от оплаты работы полевиков в случае выявления фальсификаций. Но, как показывает практика, даже с такими жесткими штрафными санкциями вам могут попытаться «подсунуть» данные от респондентов, не подходящих по требованиям.

Вы можете подготовить несколько ловушек. Например, в вариантах ответа разместите такой, который настоящий респондент не может дать: несуществующий бренд, вымышленного человека и т.д. Если в заполненной анкете встретится ответ-ловушка, документ нужно проверить на повторном интервью.

Кроме того, можно разместить в нескольких местах анкеты контрольные вопросы, одинаковые по сути, но по-разному сформулированные. Если ответы на эти вопросы будут отличаться, анкету необходимо перепроверить.

Во время сбора данных

Запросите у подрядчика маршрутные листы интервьюеров, в которых будут указаны время и место проведения опроса. Не поленитесь поехать сами или отправить кого-то из вашего офиса для проверки наличия интервьюера на локации. Самый надежный способ убедиться в достоверности данных — открытый контроль за интервьюерами. В этом есть несколько плюсов. Первый — гарантированное отсутствие фальсифицированных ответов. Второй — наблюдая за сбором информации, вы увидите слабые места анкеты (если такие есть) и сможете ее откорректировать в случае необходимости.

Второй метод — скрытый контроль. Естественно, интервьюер должен быть не знаком с вами или вашим супервайзером. Посмотрите, приглашает ли интервьюер людей, подходящих по скринеру, попробуйте сами стать его респондентом и ответить на вопросы анкеты. Так вы поймете, все ли вопросы задаются, не подсказывает ли интервьюер «правильные» ответы и т.д.

После сбора данных

Договоритесь с полевиками о том, чтобы они регулярно передавали вам заполненные анкеты, по мере их поступления от интервьюеров. Если качество работы подрядчиков вас не устроит, и вы решите обратиться к другим полевикам, придется переделать только часть работы, а не собирать 100% данных заново. Зафиксируйте сроки получения анкет от подрядчиков и контролируйте их соблюдение.

После получения анкет от полевиков, просмотрите опросные  документы и обратите внимание на их внешний вид. Первые в очереди на проверку — заполненные ровным почерком анкеты, без помятостей, сгибов, помарок и исправлений. В отличие от фальсифицированных анкет, заполненные в «боевых» условиях документы крайне редко бывают идеальными.

Если анкета заполнена несколькими шариковыми ручками или разными почерками, она должна вызвать подозрение. Интервьюер мог получить от реального респондента контактные данные и ответы на несколько первых вопросов, а остальные выдумать в «уютной домашней обстановке». И, наоборот, если ответы записывают не интервьюеры, а респонденты самостоятельно, то проверять надо как раз анкеты, заполненные похожим почерком.

Если в опросных документах большое количество исправлений, велик риск того, что как минимум часть ответов — выдумка интервьюеров, имеющая мало общего с действительностью.

Когда просмотреть все анкеты нет возможности, выберите для контроля случайным образом хотя бы 10-20% документов. Проверьте, полностью ли заполнены анкеты, наблюдается ли логика заполнения, есть ли соответствие между ответами на контрольные вопросы. Если какой-то интервьюер, локация или город вызывают подозрения, стоит проверить больше анкет из этого источника.

Телефонный обзвон случайной выборки из 20-50% заполненных анкет — ключевой этап контроля достоверности вашего поля. Как правило, именно на этом этапе выбраковывается больше всего анкет. При этом не стоит ожидать, что респондент повторит вам слово в слово все ответы на вопросы анкеты, данные во время опроса. Однако базовые ответы, ключевые моменты должны совпадать с указанными в опросных документах.

Во время телефонного контроля у респондентов нужно узнать, принимали ли они участие в исследовании, где это происходило, как долго длился опрос и пользуются ли респонденты нужным продуктом/услугой. Важно проверить, не приходятся ли опрошенные интервьюеру родственниками, соблюдены ли все условия отбора респондентов, правильно ли проводился опрос, все ли вопросы были заданы.

Наконец, еще один метод проверки достоверности ваших данных — компьютерный анализ с помощью программ обработки статистической информации. В некоторых случаях такие программы при помощи специальных алгоритмов могут указать вам на возможные фальсификации в анкетах.

 

Юлия Валовая, директор Data Harvest Group

Расскажите друзьям про новость

Новое видео