Стоимость рекрута — удобный ориентир, но далеко не самый надежный показатель качества. Если при выборе подрядчика ориентироваться только на цену, легко упустить детали, которые напрямую влияют на качество данных и достоверность выводов исследования.
В этой статье разбираем основные красные флаги, которые помогут оценить качество рекрута и вовремя выявить как недобросовестного подрядчика, так и «ходока»* при самостоятельном отборе участников.
В этой статье разбираем основные красные флаги, которые помогут оценить качество рекрута и вовремя выявить как недобросовестного подрядчика, так и «ходока»* при самостоятельном отборе участников.
*«Ходоки» - люди, для которых участие в опросах это способ заработка. Они могут ходить по исследованиям под разными именами, номерами телефонов, подгоняя себя под условия отбора и представляясь людьми различных специальностей, возрастов и городов.
Как распознать недобросовестного подрядчика
Слишком низкая стоимость рекрута
Качественный рекрут требует значительных временных и человеческих ресурсов. Необходимо не только собрать отклики, но и проверить их достоверность, провести скрининг и подтвердить соответствие респондентов целевой аудитории.
Если стоимость рекрута заметно ниже рыночной, это может говорить о том, что этапы проверки участников сокращены или формальны. В результате в выборку чаще попадают профессиональные респонденты и люди, не соответствующие критериям исследования.
Пример
Во время интервью респондент неожиданно произнес фразу: «Меня попросили сказать, что...». Это стало прямым подтверждением того, что ответы были подготовлены заранее.
Как мы работаем
Если в ходе интервью или предварительной проверки появляются признаки профессионального респондента, интервью прекращается. Подрядчики, присылающие таких участников, маркируются как недобросовестные
Если стоимость рекрута заметно ниже рыночной, это может говорить о том, что этапы проверки участников сокращены или формальны. В результате в выборку чаще попадают профессиональные респонденты и люди, не соответствующие критериям исследования.
Пример
Во время интервью респондент неожиданно произнес фразу: «Меня попросили сказать, что...». Это стало прямым подтверждением того, что ответы были подготовлены заранее.
Как мы работаем
Если в ходе интервью или предварительной проверки появляются признаки профессионального респондента, интервью прекращается. Подрядчики, присылающие таких участников, маркируются как недобросовестные
Подрядчик не отслеживает историю участия респондентов
Профессиональный рекрут предполагает контроль ротации участников исследований. Как правило, один и тот же человек не должен участвовать в исследованиях чаще одного раза в шесть месяцев. Это позволяет избежать формирования выборки из людей, которые регулярно проходят исследования и начинают давать менее естественные ответы.
Для соблюдения этого требования подрядчик должен вести базу респондентов и хранить историю их участия в проектах. Если такой учет отсутствует, возникают ситуации, когда один и тот же человек участвует в нескольких исследованиях подряд или регулярно меняет свои данные, подстраиваясь под разные целевые аудитории.
Пример
Один и тот же респондент был приглашен подрядчиком на второй проект спустя всего десять дней после участия в предыдущем исследовании.
Как мы работаем
Мы ведем собственную базу участников исследований и проверяем ротацию независимо от подрядчиков. Это позволяет отслеживать участие респондентов сразу по всем каналам рекрута. Стандартный срок ротации составляет шесть месяцев. Для сложнодостижимых аудиторий он может быть сокращен до трех месяцев.
Для соблюдения этого требования подрядчик должен вести базу респондентов и хранить историю их участия в проектах. Если такой учет отсутствует, возникают ситуации, когда один и тот же человек участвует в нескольких исследованиях подряд или регулярно меняет свои данные, подстраиваясь под разные целевые аудитории.
Пример
Один и тот же респондент был приглашен подрядчиком на второй проект спустя всего десять дней после участия в предыдущем исследовании.
Как мы работаем
Мы ведем собственную базу участников исследований и проверяем ротацию независимо от подрядчиков. Это позволяет отслеживать участие респондентов сразу по всем каналам рекрута. Стандартный срок ротации составляет шесть месяцев. Для сложнодостижимых аудиторий он может быть сокращен до трех месяцев.
Как выявить «ходока»
Респондент уклоняется от проверки личности
Один из наиболее надежных способов выявить профессионального респондента — предварительная видеопроверка перед интервью. Ходоки часто используют разные имена, номера телефонов и легенды, поэтому обнаружить их только по анкетным данным бывает невозможно. Видеосвязь позволяет сопоставить участника с ранее накопленной базой наблюдений. Отказ от тестового созвона, постоянные технические проблемы или просьбы провести интервью без камеры могут быть поводом для дополнительной проверки.
Пример
Некоторые профессиональные респонденты меняют внешний вид в зависимости от «легенды», под которой участвуют в исследовании. Однако их могут выдавать детали фона, манера речи или голос.
Как мы работаем
Мы просим подрядчиков проводить предварительное тестирование связи и предоставлять скриншоты созвона. Далее сверяем участников с собственной базой респондентов.
Пример
Некоторые профессиональные респонденты меняют внешний вид в зависимости от «легенды», под которой участвуют в исследовании. Однако их могут выдавать детали фона, манера речи или голос.
Как мы работаем
Мы просим подрядчиков проводить предварительное тестирование связи и предоставлять скриншоты созвона. Далее сверяем участников с собственной базой респондентов.
Респондент отказывается подтверждать принадлежность к целевой аудитории
Если исследование предполагает участие представителей конкретной аудитории, важно запрашивать подтверждающие материалы.
Это могут быть:
Респонденты, действительно соответствующие критериям отбора, обычно готовы предоставить необходимые подтверждения. Напротив, участники, которые намеренно подстраивают ответы под скрининг, часто находят любые причины отказаться от такой проверки.
Как мы работаем
В скрининговой анкете делаем 1-2 вопроса-ловушки для проверки логики ответов респондентов. При отборе смотрим, чтобы эта логика соблюдалась.
Это могут быть:
- скриншоты личного кабинета сервиса;
- письма с корпоративной почты;
- визитные карточки;
- документы, подтверждающие должность;
- данные геолокации и другие артефакты.
Респонденты, действительно соответствующие критериям отбора, обычно готовы предоставить необходимые подтверждения. Напротив, участники, которые намеренно подстраивают ответы под скрининг, часто находят любые причины отказаться от такой проверки.
Как мы работаем
В скрининговой анкете делаем 1-2 вопроса-ловушки для проверки логики ответов респондентов. При отборе смотрим, чтобы эта логика соблюдалась.
Респондент подгоняет ответы под критерии отбора
Еще один распространенный признак ходока — несоответствие между ответами в анкете и ответами во время подготовки к интервью. Например, участник может не помнить ключевые сведения, которые ранее указал в скрининге, или просить напомнить свои ответы перед интервью.
Как мы работаем
При отборе респондентов на интервью повторно задаём важные скрининговые вопросы из анкеты и сверяем, что оба ответа (текущий и из анкеты) совпадают. Если нет — участник не допускается.
Как мы работаем
При отборе респондентов на интервью повторно задаём важные скрининговые вопросы из анкеты и сверяем, что оба ответа (текущий и из анкеты) совпадают. Если нет — участник не допускается.
Вывод: Защищайте исследование от ошибок на этапе рекрута
Качественный рекрут — это не только поиск подходящих участников, но и системная проверка достоверности данных на каждом этапе отбора. Чем раньше удается выявить недобросовестного подрядчика или профессионального респондента, тем ниже риск получить искаженные результаты и принять решение на основе некорректных инсайтов. Поэтому контроль качества рекрута должен быть такой же важной частью исследования, как сбор и анализ данных.
Автор материала: Екатерина Лемеш, полевой менеджер, Spektr