Tidy data БЛОГ

Аналитические ловушки

Коллеги, студенты, да и я сам часто попадаемся в однотипные аналитические ловушки. Ниже собраны их ярчайшие представители, с примерами и понятными рецептами избегания:

Ловушка #1 — Ошибка выжившего

Ошибка отбора из-за которой можно прийти к неправильным выводам.

Классический пример: люди судят «доброте» дельфинов по тем потерпевшим, которых дельфины вытолкали на берег. При этом те, кого дельфины играя унесли в открытое море, не попадают в анализ, хотя таких гораздо больше.

Пример из бизнеса: вы опросили клиентскую базу и заметили, что среди клиентов никто не сидит в инстаграме. Вывод, что у вас «особенная» аудитория или что инстаграм непопулярен в целом — необоснован. Вероятно, вы не использовали этот канал привлечения клиентов, и инстаграм-аудитории негде было узнать о вашей компании.

Как избежать ловушки? Проверять, что объекты и в целевой, и в группе сравнения отобраны от общей базы.

Ловушка #2 — Ошибка корреляции

Correlation ≠ Causation.
Совместное изменение двух переменных в динамике не свидетельствует о наличии причинно-следственной связи между ними.

Классический пример: Факт того, что счастливые люди едят больше сладкого может свидетельствовать о следующем:

  • Потребление сахара приводит к счастью;
  • Счастливые люди берут от жизни все, в том числе много сладкого;
  • Есть переменная, которая объясняет склонность к сахару и счастью (ген сладкой жизни!);
  • Сахар и счастье НЕ связаны, а имеющиеся данные — случайное совпадение.

Случайное, как, например, корреляция 0.67 между числом фильмов с Николасом Кейджем и числом смертей в бассейнах, или корреляция 0.99 между числом разводов и потреблением маргарина. Другие нелепые корреляции собраны на сайте spurious correlations.

Пример из бизнеса: чем ближе летний сезон, тем больше компания тратит на ремаргетинг и тем больше у этой компании заказов.

Как избежать ловушки? Единственный способ установить причинно-следственную связь между двумя переменными — провести управляемый эксперимент (AB-тест). О нём ниже.

Ловушка #3 — Мультиколлинеарность

Это частный случай ошибки корреляции, которая объясняется наличием третьей переменной, которая связана с обоими изучаемыми признаками.

Классический пример: чем больше в городе церквей, тем больше преступлений. Значит ли это, что церкви порождают преступления (или наоборот?) — НЕТ!

Это странное поведение пары признаков объясняется третьей переменной — размером города. Чем он больше, тем больше в нём будет и церквей и преступлений.

Пример из бизнеса: было замечено, что те, кто оставляет гневные отзывы в приложении, имеют гораздо больший LTV по сравнению с остальными. Начали рождаться гипотезы о том, что это клиенты, которые эмоционально вовлечены в продукт... Или же те, кому важен продукт, будут его критиковать, потому что часто пользуются и искренне хотят, чтобы сервис изменился... Истинное объяснение оказалось, как с размером города: чем дольше клиент «живёт» с компанией, тем больше вероятность, что рано или поздно он оставит гневный отзыв.

Как избежать ловушки? Элиминированием ;)
По простому — нужно зафиксировать фактор времени константой для обоих групп. Для этого сравним LTV клиентов, которые оставляли отзыв за первые 7 дней с теми, кто не оставлял отзыв, но точно пользовался продуктом первые 7 дней.

Управляемые эксперименты (АБ-тесты) — это универсальный способ установить истинную причинно-следственную связь.

В рамках эксперимента мы подвергаем тестовую группу воздействию (рекламой, скидкой, новой функцией в продукте), а контрольную группу помещаем в абсолютно схожие условия, но НЕ подвергаем воздействию. После смотрим, как отличается целевая метрика (конверсия, средний чек, LTV) в тестовой и контрольной группе. Разницу по метрике (если она есть) относим на эффект от влияния единственного фактора, который отличал опыт тестовой и контрольной группы.

АБ-тесты помогают проверять гипотезы и предположения о потенциальных улучшениях, но по ходу их проведения тоже кроется множество ловушек.

Ловушка #4 — Неоднородные группы

При проектировании экспериментов использовать случайное перемешивание и квоты, общие для контрольной и тестовой групп. Проверять, что тестовая и контрольная группа имеют однородный состав.Если тестовая группа изначально наполнена так, что содержит более благоприятную аудиторию, то метрики по ней будут выше, но не из-за влияния изучаемого фактора, а из-за преимущества контрольной группы по своему составу.

Классический пример: исследователи полагают, что новые бутсы Nice помогут футболистам лучше играть. Для этого тестовой группе, сборной Англии по футболу, выдали новые бутсы Nice, а контрольная группа — сборная Восточного Тимора играла в привычной обуви. Англия победила, но это не значит, что ей помогли бутсы.

Пример из бизнеса: сервис по доставке еды решил проверить, как неожиданные сюрпризы на 8 марта повлияют на LTV клиенток. Логичным контрольным сегментом могут показаться мужчины (так как они не получают сюрпризы на 8 марта).. Но сравнивать LTV между такими группами будет ошибкой. Мужчины в среднем больше едят и богаче (временно, несправедливо, но факт), а значит и заказывают больше еды и имеют больший LTV.

Как избежать ловушки? При проектировании экспериментов использовать случайное перемешивание и квоты, общие для контрольной и тестовой групп. Проверять, что тестовая и контрольная группа имеют однородный состав.

Ловушка #5 — Малые выборки

В выборочных исследованиях (когда по части объектов судим о всей совокупности) часто обнаруживается сегмент, в котором метрика выше или ниже, чем в среднем. Может возникнуть соблазн делать далеко идущие выводы, но такие выводы будут ошибочными без расчета доверительного интервала.

Помните: если средняя доля признака по выборке из 200 человек равна 10%, то истинная доля этого признака, в генеральной совокупности с вероятностью 95%, лежит в диапазоне 6-14%. Чем меньше выборка, тем шире этот диапазон.
График важности характеристик по методу Кано
Классический пример: у вас есть две монетки идеальной формы: зелёная и синяя. Зеленую вы подбросили десять раз, а синюю тысячу. У зелёной решка выпала в 30% случаев, а у синей 49.4% случаев. Значит ли, что цвет влияет на частоту выпадения решки?

Пример из бизнеса: при очередном замере метрик здоровья бренда засекли рост спонтанного знания среди старшей аудитории, отпраздновали на корпоративе и выписали премию коллегам, которые сотрудничают с газетами. На следующем замере метрика среди старшей аудитории отскочила к стандартным значениям, хотя на газеты потратили ещё больший бюджет.

Как избежать ловушки? Всегда смотреть на среднее по выборке с оглядкой на доверительный интервал.

Ловушка #6 — Ошибка подглядывания

Если постоянно подглядывать на промежуточные результаты эксперимента, то однажды мы получим желаемые результаты и соблазн остановить эксперимент в этот момент будет слишком велик.

Классический пример: вспомним идеальные монетки, которые мы подбрасывали в примере из прошлой ловушки. К вам в компанию пришёл новый продукт-менеджер и сказал, что знает способ, как добиться 100% конверсии в выпадение решки: для этого нужно покрасить монетку в красный свет. Вы предложили проверить эту гипотезу при помощи эксперимента на что ваш новый коллега согласился, но остановил эксперимент, как только решка выпала два раза подряд и предъявил это, как доказательство успеха его идеи.

Пример из бизнеса: вы запустили АБ-тест и вам так интересно, что заходите проверять результаты каждый день. Уже три дня подряд показатели тестовой группы были лучше, чем у контрольной, поэтому вы решили досрочно закрыть эксперимент, признав его успешным.

Как избежать ловушки? Рассчитывать достаточный размер выборки и не подглядывать пока она не накопится.
Понравилась статья?
Поделиться: