Что проверяют на собеседовании продуктового аналитика
Разговор идёт по одной схеме: метрики, A/B-тесты, статистика, SQL, графики и кейс «почему так вышло». От Джуна ждут аккуратных определений, от Мидла — дизайна эксперимента и разбора сегментов, от Сеньора — выбора метрики под цель и оценки рисков.
После ответа почти всегда звучит второе «а почему?». Отвечайте схемой: что считаем, за какой период, на какой базе, что искажает картину. Проверять себя удобно на Proanalytics.tech: 1 517 вопросов с объяснением каждого ответа, 120 тем, 13 курсов.
- пример вопроса: чем DAU отличается от уникальных пользователей за сутки?
- пример вопроса: какую метрику вы взяли бы главной для доставки?
- пример вопроса: вспомните, как вы разбирали падение метрики.
Метрики: DAU, WAU, MAU, ARPU, LTV
DAU, WAU и MAU — один счётчик за разные окна. Метрика осмысленна там, где продукт возвращает человека: для ежедневной привычки смотрите DAU и отношение DAU к MAU, для редких покупок — MAU, иначе цифру качает один день распродажи.
ARPU делит доход на всех активных, поэтому падение при наплыве новичков — разбавление базы, а не поломка продукта. LTV — прогноз, а не факт: у подписки его считают через удержание и цену, у разовых покупок — через частоту и средний чек, а где платят единицы, он шумит.
- пример вопроса: почему MAU хуже DAU для мобильной игры?
- пример вопроса: можно ли сравнивать LTV двух продуктов напрямую?
- пример вопроса: о чём говорит рост ARPU при падающей выручке?
Удержание, когорты и воронки конверсий
Когорта — люди с общей датой первого действия: регистрации, заказа, запуска. Кривую удержания читают по высоте первого дня, скорости падения и точке выполаживания. Выполаживание важнее абсолютных значений: оно говорит, что ядро осталось, и дальше LTV считается устойчиво.
Воронка показывает, где теряются люди. Шаги собирают из событий, а не из экранов, и считают от начального шага либо шаг к шагу. Переходы между шагами удобны для приоритизации, сквозная конверсия — для оценки денег.
- пример вопроса: удержание первого дня 40%, тридцатого — 8%. Это хорошо?
- пример вопроса: шаг к шагу 90%, а сквозная конверсия 12%. Как так?
- пример вопроса: как считать удержание, если человек заходит раз в месяц?
A/B-тесты: гипотеза, метрики, выборка, остановка
Разбор теста начинается до запуска: гипотеза «если сделаем X, метрика Y изменится на Z», одна главная метрика, вторичные и guardrail-метрики, которые не должны ухудшиться. Выборку считают из минимального заметного эффекта, разброса и мощности, а срок берут кратным полным неделям.
Останавливать тест на первом плюсе нельзя: на коротком отрезке шум выглядит победой, а решение по раннему пику редко воспроизводится. Если трафика мало, сделайте версию смелее, сузьте метрику до одного шага воронки или заранее договоритесь о косвенных признаках.
- пример вопроса: на второй день тест дал плюс 12%. Ваши действия?
- пример вопроса: какие guardrail-метрики взять для теста рекомендаций?
- пример вопроса: трафика мало — как проверить гипотезу и не соврать?
Статистика: среднее, выбросы, интервалы, p-value
Среднее чувствительно к выбросам: один крупный заказ утащит его вверх, и отчёт «средний чек вырос» окажется историей про одного клиента. Медиану и усечённое среднее показывайте рядом со средним и распределением.
Доверительный интервал говорит, насколько устойчива оценка, а p-value — только насколько невероятны такие цифры при отсутствии эффекта. Читать его как «вероятность, что гипотеза верна» — типовая ошибка. Вторая ловушка — множественные сравнения: чем больше срезов проверяете, тем выше шанс найти случайный эффект.
- пример вопроса: p-value 0,04. Можно утверждать, что эффект есть?
- пример вопроса: почему рост среднего чека не равен росту выручки?
- пример вопроса: проверили 20 сегментов, в одном плюс. Что дальше?
Сегментация и поиск причин
Метрика может вырасти в среднем и упасть почти в каждом сегменте: так работает смена состава, когда доля «удобной» группы выросла. Разложите изменение на эффект внутри сегментов и структурный эффект, затем смотрите платформы, версии приложения, источники, географию, новичков против старых.
Причину ищут по времени: когда сломалось, что выкатывали в этот момент, менялись ли цены, ставки, рассылки. Сезонность проверяют сравнением с тем же периодом прошлого года, а не с прошлой неделей.
- пример вопроса: метрика выросла, а у новичков упала. Как объяснить?
- пример вопроса: как отличить сезонность от эффекта релиза?
- пример вопроса: с чего начнёте, если конверсия просела на 5%?
SQL и графики: достать цифру и показать её
В SQL проверяют ход мысли: собрать воронку шагов, найти первую покупку, посчитать активность по дням и удержание по когортам. Приёмы — группировка с условием, оконные функции для первого события, соединение событий с платежами. Проговорите допущения: боты, тестовые аккаунты, отменённые заказы, часовой пояс.
График выбирают по задаче: динамика — линия, сравнение категорий — столбцы, распределение — гистограмма, связь показателей — точки. Соврать можно осями: обрезанная ось Y превращает колебание в обвал. Руководителю нужен один экран: метрика, период, сравнение, вывод и что меняем.
- пример вопроса: напишите запрос с датой первой покупки клиента.
- пример вопроса: как посчитать удержание по неделям одним запросом?
- пример вопроса: почему на этом графике рост выглядит обвалом?
Кейсы, поведенческие вопросы и вопросы работодателю
Кейсы проверяют логику, а не правильный ответ. «Метрика выросла, выручка нет» — расходятся определение метрики и деньги: подросла частота мелких действий, упал средний чек. «Удержание падает, выручка растёт» — сменился состав: пришли платящие, но непостоянные. «Результат спорный» — смотрят интервал, guardrail-метрики и цену ошибки.
В поведенческой части ценят конкретику: ситуация, что сделали, чем закончилось, что сделали бы иначе. Держите наготове свои вопросы: кто владеет метриками, как устроены эксперименты, где хранят события.
- пример вопроса: расскажите, когда ваша гипотеза не подтвердилась.
- пример вопроса: как вы спорите с продактом, уверенным в своей правоте?
- пример вопроса: какие вопросы вы зададите нам в конце встречи?
Что сделать: короткий чеклист
- Выпишите метрики продукта с формулой, окном и границей применимости.
- Пройдите бесплатную диагностику уровня из 20 вопросов и отметьте слабые темы.
- Разберите одну воронку: события, переходы, сквозная конверсия, дорогой провал.
- Соберите гипотезу «если — то — на сколько» с guardrail-метриками.
- Пересчитайте выборку под минимальный заметный эффект и срок в полных неделях.
- Напишите три запроса: первая покупка, активность по дням, удержание когорт.
- Опишите два провальных эксперимента и выводы, которые из них сделали.
- Подготовьте пять вопросов работодателю про метрики, тесты и качество цифр.
Где тренировать
Темы из гайда разобраны в тестах портала — каждый вопрос с объяснением ответа:
- Тесты по продуктовой аналитике и метрикам
- Вопросы по статистике и A/B-тестам
- SQL-задачи с разбором ответов
- Экзамен по уровню Мидл — Тесты для уровня Мидл
- Как подготовиться к собеседованию аналитика
На собеседовании продуктового аналитика выигрывает не тот, кто помнит больше определений, а тот, кто связывает цифру с решением и честно называет границы своей оценки. Проверьте себя: начните с бесплатной диагностики уровня из 20 вопросов, разберите ошибки по темам и дойдите до режима «Собеседование» — так вы увидите, где ответ держится на уверенности.