Начните с решения, а не с графика
Прежде чем считать, сформулируйте вопрос, на который отвечает метрика: «стоит ли выкатывать новую оплату», «почему упала выручка в приложении», «где теряются новые пользователи». Метрика без вопроса превращается в число, которое никто не использует.
Проверка простая: если метрика выросла вдвое, что вы сделаете иначе? Если ответа нет, метрика не нужна — по крайней мере сейчас.
Держите вопрос и метрику рядом: в отчёте первым предложением — вопрос, вторым — ответ, дальше цифры.
- Сформулируйте решение, которое зависит от метрики.
- Проверьте, что метрика на него влияет.
- Запишите вопрос в начало отчёта, а не в конец.
Три уровня: результат, драйверы, здоровье
Разложите метрики по уровням. Первый — результат для пользователя и бизнеса: выручка, число активных, удержание. Второй — драйверы, на которые команда влияет напрямую: конверсия шага, доля повторных заказов, время до первого действия. Третий — метрики здоровья: скорость загрузки, доля ошибок, нагрузка на поддержку.
Такой порядок помогает не спорить о цифрах: если выросла выручка, но провалилось удержание, смотрим драйверы. Если упала конверсия, сначала проверяем здоровье — релиз, ошибки, скорость.
Одна главная метрика на команду лучше пяти равноправных: когда их пять, выбирают удобную.
- Результат: выручка, активные пользователи, удержание.
- Драйверы: конверсии шагов, повторные покупки, время до ценности.
- Здоровье: ошибки, скорость, обращения в поддержку.
Как выбрать главную метрику
Главная метрика должна отражать ценность для пользователя, быть понятной без пояснений и меняться от работы команды. Если метрика похожа на «число кликов», её легко улучшить, ничего не изменив в продукте.
Проверьте метрику на трёх примерах. Подписка: сколько людей продлевают — ценность в повторном использовании, а не в первой оплате. Маркетплейс: доля заказов с повторной покупкой за 90 дней. Мобильный банк: сколько клиентов совершают целевое действие в месяц.
Не смешивайте метрику и цель: цель — «вырасти в два раза», метрика — то, что вы измеряете по дороге.
- Отражает ценность, а не активность интерфейса.
- Понятна без сносок и расшифровок.
- Меняется от действий команды, а не от сезона.
Воронка: где считать шаги
Воронка показывает путь до целевого действия: открытие, регистрация, первый заказ, повторный заказ. Важно, чтобы шаги считались по одному пользователю, а не по событиям: иначе один активный человек перевесит десять новых.
Между системами бывают провалы: приложение пишет событие одно, платежи приходят из внешнего сервиса. Держите ключ, по которому склеиваете: внутренний идентификатор, почта или номер заказа. Иначе появится шаг «неизвестно кто».
Смотрите воронку по когортам и по источникам: общая конверсия может стоять на месте, а внутри один сегмент падать, а другой расти.
- Шаги считаем по пользователям, а не по событиям.
- Один ключ склейки между системами.
- Разбивка по источникам и новым против вернувшихся.
Когорты и удержание
Общее число активных за день плохо показывает продукт: оно растёт от рекламы и падает от её остановки. Когорты отвечают на другой вопрос: возвращаются ли те, кто пришёл в одну неделю.
Стройте таблицу: неделя первого действия по строкам, недели после по столбцам, в ячейках — доля вернувшихся. Кривая, которая выходит на плато, означает ядро аудитории; кривая, падающая до нуля, — что ценность не удержала.
Сравнивайте когорты между собой, а не с общим средним: так видно эффект изменений в продукте.
- Когорта — неделя или месяц первого действия.
- Смотрим плато, а не первый день.
- Сравниваем когорты между собой, а не со средним.
Что портит метрику
Средние без распределения: средний чек может вырасти из-за одного крупного заказа. Всегда показывайте медиану и разброс рядом.
Выжившие: если считаете удержание только по тем, кто дошёл до оплаты, вы измеряете не продукт, а удачу. Считайте по всей группе, вошедшей в период.
Несовместимые периоды: сравнивать февраль с мартом без поправки на число дней и сезонность — верный способ сделать ложный вывод. Берите одинаковые отрезки и смотрите несколько периодов подряд.
- Среднее без медианы и распределения.
- Расчёт только по дошедшим до конца.
- Сравнение периодов разной длины и сезонности.
Проверка изменений: A/B-тест
Если меняете продукт, проверяйте эффект на группах. До запуска посчитайте, сколько наблюдений нужно, чтобы увидеть эффект ожидаемого размера: иначе тест закончится спором «кажется, стало лучше».
Смотрите не только на главную метрику, но и на метрики здоровья: рост конверсии за счёт ошибок и медленной загрузки — не победа.
Незначимый результат — тоже результат. Запишите, что проверили, при какой длительности и на какой выборке: через месяц этот вывод сэкономит время.
- Размер выборки и длительность считаем до старта.
- Главная метрика плюс здоровье.
- Итог теста фиксируем, даже если эффекта нет.
Как оформить метрики для команды
Соберите дерево метрик на одну страницу: главная наверху, драйверы под ней, здоровье сбоку. Рядом — словарь: что значит каждая метрика, по какому событию считается, кто владелец.
Раз в месяц пересматривайте список: часть метрик устарела, часть стала дублировать другие. Метрик, которые никто не смотрит, быть не должно.
Отдельно договоритесь, как считать спорные случаи: тестовые аккаунты, сотрудники, отменённые заказы. Один раз записанное правило снимает бесконечные уточнения.
- Дерево метрик на одну страницу.
- Словарь: смысл, событие, владелец, ограничения.
- Разбор раз в месяц и правила для спорных случаев.
Что сделать: короткий чеклист
- Сформулировал решение, которое зависит от метрики.
- Разложил метрики по уровням: результат, драйверы, здоровье.
- Выбрал одну главную метрику и объяснил выбор.
- Собрал воронку по пользователям с одним ключом склейки.
- Построил когорты и посмотрел на плато, а не на первый день.
- Проверил средние на выбросы и посчитал медиану.
- Записал правила для тестовых аккаунтов и отмен.
- Оформил дерево метрик и словарь на одну страницу.
Где тренировать
Темы из гайда разобраны в тестах портала — каждый вопрос с объяснением ответа:
- Продуктовая аналитика и метрики: 105 вопросов
- Статистика и A/B-тесты: 105 вопросов
- SQL: 159 вопросов с разбором ответов
- Как посчитать A/B-тест: от гипотезы до вывода
- Подписка: 590 ₽ в месяц, 3 990 ₽ в год
Метрики начинаются с вопроса и решения, а не с дашборда. Разложите их по уровням, выберите одну главную, соберите воронку по людям и когорты, проверьте расчёты на выбросы — и число в отчёте станет аргументом, с которым можно идти к команде.