Когортный анализ

Рассчитываем, как фичи влияют на ARPU когорт
Когортный анализ применяется для решения широкого спектра важных задач:

  1. Оценивать, какое влияние изменения в продукте оказали на «полку ретеншена»;
  2. Оценивать потенциальный эффект от внедрения новых функций в продукт и выбирать те, которые принесут наибольший прирост ARPU;
  3. Соотносить стоимость привлечения клиента с выручкой, которую он принесет на дистанции.
Проведем мысленный эксперимент:

Вы детский тренер, который работает с братьями: Олегом и Толиком. Толику сейчас 16, а Олегу 11, но оба начали заниматься с вами, когда им исполнилось 8 лет. Физические предпосылки у братьев одинаковые. Толика вы начали тренировать ещё по старой советской технологии, а Олега уже по современной. Как понять, какая методика тренировок лучше?

Сравнить Толика и Олега напрямую вы не можете, потому что Толик старше и из-за этого его результаты однозначно будут лучше...
Так же и с клиентами: среди них есть «старички», которые уже принесли кучу денег и ещё помнят первую сырую версию вашего продукта. И «молодые» клиенты, которые пока не успели принесли большую выручку, потому что «живут» с вами недолго. Зато они сразу начали пользоваться продуктом со всеми последними фичами, что должно повлиять на их показатели вовлечения, удержания и ARPU.

Как же по-честному сравнивать «взрослые» когорты клиентов, которые росли до появления фичи с «молоденькими» когортами клиентов, которые родились недавно, зато пользуются продуктом в котором появились новые функции?

1. Выделить когорту клиентов, которые начали пользоваться продуктом когда в нем не было фичи.
2. Выделить когорту клиентов, которые начали пользоваться продуктом когда в нем появилась фича.
3. Оценить метрики по этим когортам за сопоставимое «окно расчета».

Например сравнивать показатели выручки от когорт, которые накопились за первую неделю с момента первого заказа. Так мы нивелируем преимущество «взрослых» когорт, полученное за счет того, что они живут с нашим продуктом дольше, чем новчики, поэтому успевают принести больше прибыли.


Фиксируем:

Когорта — это группа людей объединенных общим опытам. Например, группа тех, кто сделал первый заказ в мае. Или когорта тех, кто начал пользоваться стримингом, когда в нем уже появились «плейлисты» и тех, кто начал пользоваться стримингом до их появления.

Окно расчета — это сколько мы даем клиентам «пожить с продуктом» перед тем как рассчитывать метрики. Этот период может отсчитывается от даты первой регистрации или от даты первой покупки. Это может быть пара часов, 7 дней или целый год. Годовой ARPU будет наиболее тесно скоррелирован с «полным», т.е. выручкой, которую в среднем приносят клиенты за вообще всё время. Но вам придётся ждать целый год, чтобы накопить данные перед тем как их анализировать и принимать решения. Поэтому на практике применяются более короткие «окна».

ARPU — средняя выручка на одного клиента по когорте за определенное окно расчета.

Например, вы хотите понять, как внедрение кэшбека повлияло на поведение потребителей. Сравните, сколько выручки за первые 30 дней принесли клиенты, которые пользуются продуктом без кэшбека по сравнению с теми, кто начал пользоваться продуктом, в котором уже был кэшбек Изи!
Интерпретация​ боксплота (ящика с усами)
Вывод: кэшбек помог повысить ARPU-30 на 2760 руб. (22%). При релизе кэшбека на всю аудиторию можно ожидать прироста выручки на 22% или на 9 936 000 руб. за 30 дней.
Сравните ARPU клиентов, которые сделали первый заказ до релиза фичи с когортой клиентов, которые сделали первый после релиза фичи.
Для сопоставимости когорт используйте окно расчета в 7 дней.

ЗАДАНИЕ: Когортный анализ 1
Интерпретация​ боксплота (ящика с усами)
Дисклеймер к заданиям из этого раздела: в задачах приведены данные 10 клиентов для того, чтобы всю таблицу можно было поместить на одном экране и рассмотреть каждого. На практике принимать решения на таких малых выборках недопустимо. Сделаем допущение и пока что закроем глаза на ультра маленькие выборки.
Вопрос достаточного объема выборки разбираем в другом разделе >

Что делать с этими когортами?

  1. Регулярно следить за формой и метриками когорт т.к. это ключевой фактор модели роста.

  2. Сопоставить цену привлечения клиента и ARPU по когорте, чтобы понять за какой период он окупится.

  3. Узучать и сравнить когорты клиентов по ARPU, чтобы находить сегменты, фичи, поведенческие паттерны, которые приводят к росту ARPU (сигнал от том, что для этого сегмента достигнут PMF).


Управляющие продуктом постоянно сталкиваются с вопросом: какую функцию развивать в следующей? Что понравится пользователям больше, принесет больше прибыли и выделит на фоне конкурентов? Портретный режим в камере; настраиваемые анимированные эмоции (Memoji) или сфокусироваться на скучной, но важной функции безопасности и защите личных данных?

Приоритезация улучшений на основе ARPU

Ресурсы команды разработки ограничены, как и время до следующего релиза. ARPU, рассчитанное по когортам можно использовать для приоритезации проектов. Например, вы выбираете между разработкой программой лояльности для приложения IOS или функции личного консультанта. Стоимость реализации этих проектом примерно одинаковая, но от какой будет больше выхлопа? А может быть есть другие проекты, которые могут принести больше прибыли?

Задача: Найти признаки клиентов и функции, которые сильней всего влияют на ARPU.

Алгоритм приоритезации проектов на основе ARPU:

  1. Рассчитайте ARPU по всем доступным сегментам, функциям и АБ-тестам.
  2. Найдите самые большие отклонения с учетом объема каждой подгруппы.
  3. Перемножте отклонения ARPU на объемы сегментов, чтобы определить потенциал роста
  4. Отсортируйте проекты по потенциалу роста.
Интерпретация​ боксплота (ящика с усами)
Видим, что у тех, кто пользовались фичей "Избранное" ARPU выше среднего на 19.4%. За счет вовлечения 30% клиентов в эту фичу мы потенциально можем заработать на 2 млн. больше за первые 90 дней жизни когорты. Но это не самый приоритетный проект, потому что перевод клиентов из Веб в App-версию продукта поможет заработать до 8.2 млн. Изучите и другие выводы.

Скачать пример фреймворка >
Рассчитайте ARPU по всем доступным клиентским признакам. Выделите сегмент или фичу, в которой самый высокий ARPU:

ЗАДАНИЕ 2: Когортный анализ
Оценка фич «в деньгах» — это первая плоскость. Новый ракурс открывается, если взглянуть на функции продукта с ракурса «счастья клиентов»: NPS | Мониторинг счастья клиентов
Оцените страницу:
Бесполезно
Частично норм
Полезно