Количественные исследования

Валидируем гипотезы
Количественные исследования в связке с глубинными интервью помогают валидировать идеи и гипотезы на выборках достаточного размера. По данным из опроса можно узнать, о том, что у аудитории «нет тяги», еще до того, как вы потратили инвестиции, чтобы проверить это на практике. Опросы могут подсветить сегменты, которые проявляют наибольший интерес к продукту и функции, которые важны пользователям. Но если провести опрос некачественно, то вы получите ложные выводы. В этом разделе приведены общие рекомендации и к проведению опросов.

Теоретическая сводка

«Если суп хорошо перемешать, то достаточно одной ложки,
чтобы сделать вывод о вкусе всей кастрюли»

— вольный пересказ цитаты Галлопа.
По выборке можно судить о всей генеральной совокупности, если выборка репрезентативная. Репрезентативность достигается за счет достаточного размера выборки и случайного отбора. Например, чтобы узнать средний рост всех россиян не нужно измерять рост у всего населения. Достаточно измерить рост небольшой репрезентативной части и аппроксимировать выводы на всех. Показатель по выборке всегда немного будет отличаться от показателя по генеральной совокупности на ошибку выборки. Чем больше вариация и чем меньше размер вашей выборки, тем больше ошибка. Размер ошибки выборки можно оценить при помощи формул.

Какой размер выборки нужен для бизнес исследований?

Прирост точности должен быть соизмерим с ростом затрат
Если коротко, то вам нужно как 100 респондентов на каждый сегмент. Если вы хотите сравнить два сегмента: например, мужчин и женщин, значит вам потребуется 200 респондентов.

Почему 100 на сегмент? Потому что это хороший баланс между стоимостью и точностью. Дальнейшее повышение размера выборки будет линейно увеличивать стоимость исследования, ошибка выборки при этом сократится непропорционально.
Интерпретация​ боксплота (ящика с усами)
Зависимость ошибки от размера выборки
Учитывая, что средняя цена респондента порядка 500 руб. аналитики должны всегда взвешивать ценность от прироста точности и цену этого прироста. Например, ошибка на выборке 100 респондентов будет +-9%, а на выборке в 200 +-7%.

Случайный отбор

Случайный отбор — это важнейший элемент репрезентативности. Случайный отбор — это когда у каждого элемента генеральной совокупности одинаковая вероятность попадания в выборку. Возвращаясь к нашему примеру с ростом россиян — это значит, что нам так нужно отбирать 100 участников в выборку, чтобы в нее с одинаковой вероятностью могли попасть и высокие карелы и низкие пигмеи.

Самая распространенная ошибка — это формировать выборку «по удобству». Например, выйти во двор и измерить рост всех, кто попадется. Если в вашем дворе баскетбольная площадка, то результат измерений предрешен.

На практике идеально случайных выборок не бывает, но к ним нужно стремиться. Для этого социологи разработали различные способы отбора: перемешивать телефонные номера случайным образом (кстати, даже в таком случае в выборке не будет представлены те, у кого нет телефона) или случайно перемешивать номера квартир. По-квартирный обход тоже сулит ошибки. Если интервьюеры будут проводить опрос в рабочие часы, то выборка будет смещена в пользу пенсионеров, домохозяек и домохозяинов, которых легче застать в дневные часы. В исследованиях с самыми высокими стандартами случайный список квартир обозначается заранее и респонденты посещаются их в разные часы, пока не застанут дома всех из запланированных объектов.

Дополнительный материал:

Методы сбора данных

Поквартирный опрос
Наиболее репрезентативный метод социологических опросов из имеющихся. Применяется для переписи населения и в научных исследованиях с высокими стандартами. Для бизнес целей не распространен из-за дороговизны.

Телефонный опрос
Основной метод опросов до распространения интернета. Средний уровень стоимости и качества. От 300 руб. за анкету.

Интернет опросы
Самый доступный вид опросов. Точность не сильно ниже, чем у телефонных опросов, зато цена кратно ниже. На «Яндекс Взгляде» цена анкеты достигает 30 руб. Самый распространенный метод сбора данных для бизнеса.

Квоты

Квоты — это еще один инструмент для обеспечения репрезентативности. Суть квот в том, чтобы обеспечить выборку, которая по структуре совпадает с генеральной совокупностью.
Интерпретация​ боксплота (ящика с усами)
Подгуппы в выборке должны быть представлены также, как и в генеральной совокупности
Например, люди старшего возраста менее склонны участвовать в опросах, поэтому в какой то момент вам потребуется остановить приём ответов от молодых респондентов и продолжать «набирать» взрослую аудитории. Если вы этого не сделаете, то мнение молодой аудитории будет представлено больше, чем мнение старшей.

Если это невозможно, то применяется «взвешивание». Голоса мало представленных групп умножаются на величину непредставленности этой группы. Например, если доля пенсионеров в выборке в два раза меньше, чем в генеральной совокупности, то ответ каждого пенсионера при подсчете ответов умножается на два, чтобы это компенсировать.

Формулировки вопросов — это очень важно

Те ответы, которые мы получаем во многом зависят от того, КАК мы спрашиваем:
Интерпретация​ боксплота (ящика с усами)
Бюллетень для голосования во время референдума в Австрии по аншлюсу с Германией.

«Согласен ли ты с произошедшим 13 марта 1938 года воссоединением Австрии с Германией и голосуешь ли за нашего фюрера?»

Да — большой кружок, Нет — маленький.
Придерживайтесь следующих правил при составлении анкеты, чтобы получить объективные ответы:

  1. Чем проще, тем лучше. Проверяйте анкеты на людях, которые не участвовали в их составлении. Вероятно многие вопросы и ответы будут им непонятны. Упрощайте до тех пор, пока ваша бабушка не сможет пройти анкету. Когда придумываете вопросы представляйте человека, который отвечает на анкету ведя в машину в пробке с радио играющим на фоне и сигаретой в руке.

  2. Не закладывайте нужный ответ в вопрос. Вопрос «Вы купите этот прекрасный, качественный товар Х» даст вам гораздо более позитивные результаты, чем вопрос «Насколько вероятно, что вы купите или НЕ купите товар Х»?

  3. Будьте внимательны к тому, что спрашиваете. Другими словами будьте буквальны. Например вопрос «Вы хотите купить Х?» не несет никакой пользы. Большинство согласятся с тем, что хотят купить мерседес или вертолет, но это не означает, что у них есть возможность и намеренье это сделать.

  4. Перемешивайте варианты ответов. Верхние варианты ответов всегда набирают чуть больше голосов. Не спекулируйте на этом — перемешивайте варианты ответов для каждого респондента в случайном порядке. У большинства сервисов для опросов есть функция «ротации ответов».

  5. Добавляйте вариант «Затрудняюсь ответить». Если его не будет, то респонденты будут вынуждены тыкать куда попало, если не знают, что сказать.

  6. Варианты ответа должны быть одинаковыми по сущности. «Куда вы ходили в последнее время?» В макдональдс, КФЦ, теремок, церковь, аквапарк, аэропорт — это очевидно плохая идея, но к ней часто прибегают.
Хорошая идея — придерживаться стандартных формулировок, которые прошли обточку многими поколениями социологов:
Ключевое:

⚠️ Каждый вопрос в анкете должен служить какой-либо цели. Вы должны ясно представлять, какие решения и действия предпримите на основе статистики этого вопроса. Если четких ответов нет, то смело выкидывайте вопрос.

Частые вопросы про опросы

Оцените страницу:
Бесполезно
Частично норм
Полезно