Метрики продукта: с чего начать

Метрика нужна не для отчёта, а для решения: менять продукт, чинить воронку, останавливать гипотезу. Ниже — порядок работы: от вопроса к метрике, от метрики к воронке и когортам, плюс частые ошибки в расчётах.

Начните с решения, а не с графика

Прежде чем считать, сформулируйте вопрос, на который отвечает метрика: «стоит ли выкатывать новую оплату», «почему упала выручка в приложении», «где теряются новые пользователи». Метрика без вопроса превращается в число, которое никто не использует.

Проверка простая: если метрика выросла вдвое, что вы сделаете иначе? Если ответа нет, метрика не нужна — по крайней мере сейчас.

Держите вопрос и метрику рядом: в отчёте первым предложением — вопрос, вторым — ответ, дальше цифры.

• Сформулируйте решение, которое зависит от метрики.
• Проверьте, что метрика на него влияет.
• Запишите вопрос в начало отчёта, а не в конец.

Три уровня: результат, драйверы, здоровье

Разложите метрики по уровням. Первый — результат для пользователя и бизнеса: выручка, число активных, удержание. Второй — драйверы, на которые команда влияет напрямую: конверсия шага, доля повторных заказов, время до первого действия. Третий — метрики здоровья: скорость загрузки, доля ошибок, нагрузка на поддержку.

Такой порядок помогает не спорить о цифрах: если выросла выручка, но провалилось удержание, смотрим драйверы. Если упала конверсия, сначала проверяем здоровье — релиз, ошибки, скорость.

Одна главная метрика на команду лучше пяти равноправных: когда их пять, выбирают удобную.

• Результат: выручка, активные пользователи, удержание.
• Драйверы: конверсии шагов, повторные покупки, время до ценности.
• Здоровье: ошибки, скорость, обращения в поддержку.

Как выбрать главную метрику

Главная метрика должна отражать ценность для пользователя, быть понятной без пояснений и меняться от работы команды. Если метрика похожа на «число кликов», её легко улучшить, ничего не изменив в продукте.

Проверьте метрику на трёх примерах. Подписка: сколько людей продлевают — ценность в повторном использовании, а не в первой оплате. Маркетплейс: доля заказов с повторной покупкой за 90 дней. Мобильный банк: сколько клиентов совершают целевое действие в месяц.

Не смешивайте метрику и цель: цель — «вырасти в два раза», метрика — то, что вы измеряете по дороге.

• Отражает ценность, а не активность интерфейса.
• Понятна без сносок и расшифровок.
• Меняется от действий команды, а не от сезона.

Воронка: где считать шаги

Воронка показывает путь до целевого действия: открытие, регистрация, первый заказ, повторный заказ. Важно, чтобы шаги считались по одному пользователю, а не по событиям: иначе один активный человек перевесит десять новых.

Между системами бывают провалы: приложение пишет событие одно, платежи приходят из внешнего сервиса. Держите ключ, по которому склеиваете: внутренний идентификатор, почта или номер заказа. Иначе появится шаг «неизвестно кто».

Смотрите воронку по когортам и по источникам: общая конверсия может стоять на месте, а внутри один сегмент падать, а другой расти.

• Шаги считаем по пользователям, а не по событиям.
• Один ключ склейки между системами.
• Разбивка по источникам и новым против вернувшихся.

Когорты и удержание

Общее число активных за день плохо показывает продукт: оно растёт от рекламы и падает от её остановки. Когорты отвечают на другой вопрос: возвращаются ли те, кто пришёл в одну неделю.

Стройте таблицу: неделя первого действия по строкам, недели после по столбцам, в ячейках — доля вернувшихся. Кривая, которая выходит на плато, означает ядро аудитории; кривая, падающая до нуля, — что ценность не удержала.

Сравнивайте когорты между собой, а не с общим средним: так видно эффект изменений в продукте.

• Когорта — неделя или месяц первого действия.
• Смотрим плато, а не первый день.
• Сравниваем когорты между собой, а не со средним.

Что портит метрику

Средние без распределения: средний чек может вырасти из-за одного крупного заказа. Всегда показывайте медиану и разброс рядом.

Выжившие: если считаете удержание только по тем, кто дошёл до оплаты, вы измеряете не продукт, а удачу. Считайте по всей группе, вошедшей в период.

Несовместимые периоды: сравнивать февраль с мартом без поправки на число дней и сезонность — верный способ сделать ложный вывод. Берите одинаковые отрезки и смотрите несколько периодов подряд.

• Среднее без медианы и распределения.
• Расчёт только по дошедшим до конца.
• Сравнение периодов разной длины и сезонности.

Проверка изменений: A/B-тест

Если меняете продукт, проверяйте эффект на группах. До запуска посчитайте, сколько наблюдений нужно, чтобы увидеть эффект ожидаемого размера: иначе тест закончится спором «кажется, стало лучше».

Смотрите не только на главную метрику, но и на метрики здоровья: рост конверсии за счёт ошибок и медленной загрузки — не победа.

Незначимый результат — тоже результат. Запишите, что проверили, при какой длительности и на какой выборке: через месяц этот вывод сэкономит время.

• Размер выборки и длительность считаем до старта.
• Главная метрика плюс здоровье.
• Итог теста фиксируем, даже если эффекта нет.

Как оформить метрики для команды

Соберите дерево метрик на одну страницу: главная наверху, драйверы под ней, здоровье сбоку. Рядом — словарь: что значит каждая метрика, по какому событию считается, кто владелец.

Раз в месяц пересматривайте список: часть метрик устарела, часть стала дублировать другие. Метрик, которые никто не смотрит, быть не должно.

Отдельно договоритесь, как считать спорные случаи: тестовые аккаунты, сотрудники, отменённые заказы. Один раз записанное правило снимает бесконечные уточнения.

• Дерево метрик на одну страницу.
• Словарь: смысл, событие, владелец, ограничения.
• Разбор раз в месяц и правила для спорных случаев.

Что сделать: короткий чеклист

• Сформулировал решение, которое зависит от метрики.
• Разложил метрики по уровням: результат, драйверы, здоровье.
• Выбрал одну главную метрику и объяснил выбор.
• Собрал воронку по пользователям с одним ключом склейки.
• Построил когорты и посмотрел на плато, а не на первый день.
• Проверил средние на выбросы и посчитал медиану.
• Записал правила для тестовых аккаунтов и отмен.
• Оформил дерево метрик и словарь на одну страницу.

Где тренировать

Темы из гайда разобраны в тестах портала — каждый вопрос с объяснением ответа:

• Продуктовая аналитика и метрики: 105 вопросов
• Статистика и A/B-тесты: 105 вопросов
• SQL: 159 вопросов с разбором ответов
• Как посчитать A/B-тест: от гипотезы до вывода
• Подписка: 590 ₽ в месяц, 3 990 ₽ в год

Метрики начинаются с вопроса и решения, а не с дашборда. Разложите их по уровням, выберите одну главную, соберите воронку по людям и когорты, проверьте расчёты на выбросы — и число в отчёте станет аргументом, с которым можно идти к команде.

Частые вопросы