Вопросы на собеседовании продуктового аналитика

Пример сильного ответа

North Star — это одна метрика, которая лучше всего отражает ценность для пользователя и при этом связана с выручкой. Для сервиса доставки это, например, число выполненных заказов на активного пользователя. Дальше строю дерево: сверху North Star, ниже — факторы, которые на неё влияют, ещё ниже — операционные метрики команд. Каждый лист дерева закреплён за командой и меняется за спринт. В одном проекте такое дерево из двенадцати метрик помогло за квартал поднять удержание примерно на восемь процентов.

• Отличает метрику ценности от тщеславной
• Показывает конкретный механизм построения дерева
• Подкрепляет результат числом из опыта

Возьмите структуру и подставьте свой опыт — заученный чужой ответ интервьюер слышит сразу.

Пример сильного ответа

Retention считаю по когортам: беру группу пользователей по дате первого действия и смотрю, какая доля возвращается на первый, седьмой и тридцатый день. Churn — обратная величина: доля тех, кто перестал пользоваться за период. Разница в оптике: retention показывает, как продукт удерживает новых, churn — сколько теряем из активной базы. Ориентироваться только на общий churn опасно, он маскирует проблемы новых когорт. В одном продукте падение retention на второй неделе с тридцати пяти до двадцати семи процентов мы увидели именно по когортам и успели починить онбординг.

• Объясняет расчёт когортами, а не средним
• Чётко противопоставляет retention и churn
• Добавляет практический пример с цифрами

Возьмите структуру и подставьте свой опыт — заученный чужой ответ интервьюер слышит сразу.

Пример сильного ответа

Разберу на примере мобильного приложения для доставки. Acquisition — установки и стоимость привлечения по каналам. Activation — первый заказ в первые сутки: этот шаг проходили около сорока процентов новичков. Retention — повторные заказы на второй и четвёртой неделе. Revenue — средний чек и выручка на пользователя. Referral — приглашения друзей и доля заказов по промокодам. Слабое место было в активации: выбор адреса прямо на первом экране подняло конверсию в первый заказ примерно на пятнадцать процентов относительно контроля.

• Проходит по всем пяти этапам воронки
• Приводит конкретный продукт и метрики
• Завершает улучшением с измеримым эффектом

Возьмите структуру и подставьте свой опыт — заученный чужой ответ интервьюер слышит сразу.

Пример сильного ответа

Юнит-экономика — это сравнение выручки с одного клиента и затрат на его привлечение и обслуживание. Считаю LTV, то есть сколько маржи приносит клиент за всё время, CAC — сколько стоит привлечение, плюс срок окупаемости и маржинальность заказа. Юнит сходится, когда LTV уверенно выше CAC, а вложения возвращаются за разумный для бизнеса срок. В одном проекте окупаемость держалась около пяти месяцев, и это позволяло масштабировать канал. Важно считать LTV по марже, а не по выручке, и проверять по когортам.

• Называет ключевые метрики юнит-экономики
• Даёт критерий сходимости без опоры на нормы
• Уточняет расчёт по марже, а не выручке

Возьмите структуру и подставьте свой опыт — заученный чужой ответ интервьюер слышит сразу.

Пример сильного ответа

Корреляция — это когда две метрики двигаются вместе, но это не значит, что одна вызывает другую. Главный риск — общий сезонный или внешний фактор. Чтобы приблизиться к причинности, опираюсь на дизайн: A/B-тест, если получается рандомизировать, либо квазиэксперимент — разность разностей, синтетический контроль, проверка параллельности трендов в предпериоде. Плюс ищу механизм: есть ли логичное объяснение эффекта. В одном случае рост рассылок коррелировал с выручкой, а тест показал эффект всего около одного процента.

• Разводит корреляцию и причинность по смыслу
• Перечисляет методы квазиэкспериментов
• Подтверждает примером из практики

Возьмите структуру и подставьте свой опыт — заученный чужой ответ интервьюер слышит сразу.

Пример сильного ответа

Начинаю с гипотезы и метрики: формулирую, какое изменение и почему должно повлиять на целевой показатель, и сразу называю метрику решения, например конверсию в оплату. Дальше оцениваю, какой эффект считаю значимым, прикидываю нужный размер выборки и длительность с учётом недельной сезонности. Согласую с продуктом и разработкой, проверяю, что событие для метрики фиксируется корректно, и запускаю с рандомизацией по пользователю. После набора данных смотрю на распределение, выбросы, A/A-проверку и только потом на эффект. Один раз тест на две недели и 40 тысячах пользователей дал рост конверсии на 4%, и мы раскатили его на всю аудиторию.

• Виден полный цикл: гипотеза, метрика, выборка, запуск, решение
• Есть конкретная цифра результата и вывод по раскатке
• Упомянута A/A-проверка — признак зрелости аналитика

Возьмите структуру и подставьте свой опыт — заученный чужой ответ интервьюер слышит сразу.

Пример сильного ответа

Статистическая значимость отвечает на вопрос, насколько вероятно, что наблюдаемая разница — случайность при условии, что эффекта нет. Это и есть ошибка первого рода: увидеть эффект там, где его нет, и зря раскатить изменение. Мощность — вероятность заметить реальный эффект нужного размера; ей управляют размер выборки, разброс метрики и длительность теста. Ошибка второго рода — пропустить работающее улучшение и оставить продукт без роста. На практике мощность планирую так, чтобы уверенно замечать рост метрики от 3%, и не подглядываю в результаты каждый день, чтобы не ловить случайные всплески.

• Термины объяснены через пользу для продукта, а не как в учебнике
• Показано, как теория влияет на планирование теста
• Есть личный приём: не смотреть результаты каждый день

Возьмите структуру и подставьте свой опыт — заученный чужой ответ интервьюер слышит сразу.

Пример сильного ответа

Чаще всего это агрегаты по пользователям и событиям: воронки, retention по когортам, расчёт метрик по экспериментальным и контрольным группам. Пишу запросы с join по таблице событий и справочникам, группировкой по датам регистрации, оконными функциями для порядковых шагов и фильтрами по тестовым и сервисным аккаунтам. Отдельный блок — проверка аномалий: сравнение суточных срезов с предыдущей неделей. Регулярные отчёты вынесены в витрины, поэтому аналитика по метрике продукта занимает минуты, а не часы: раньше на сбор воронки уходило около трёх часов, сейчас — один запрос.

• Набор запросов типичен для продуктовой аналитики
• Показан переход от ручных выгрузок к витринам
• Есть цифра: три часа против одного запроса

Возьмите структуру и подставьте свой опыт — заученный чужой ответ интервьюер слышит сразу.

Пример сильного ответа

Сбор идёт через фронтенд и бэкенд: клиентские события описывают действия пользователя в интерфейсе, серверные фиксируют то, что подтверждено системой, например успешную оплату. Всё складывается в хранилище, где события лежат в одной таблице с общим набором полей: идентификатор пользователя, время, платформа, версия приложения и параметры события. Таксономия — это соглашение о названиях и свойствах событий: единый словарь, иерархия по объекту и действию, обязательные и опциональные параметры. Мы поддерживали справочник на 120 событий, и благодаря ему новую воронку можно было собрать без правок в коде.

• Разделены клиентские и серверные события
• Таксономия объяснена как рабочий инструмент, а не термин
• Есть цифра масштаба справочника событий

Возьмите структуру и подставьте свой опыт — заученный чужой ответ интервьюер слышит сразу.

Пример сильного ответа

Проверяю несколько уровней. Сначала полнота и свежесть: приходят ли данные за все дни, нет ли провалов по платформам и версиям. Потом схема и типы: не появились ли новые значения в категориальных полях, не задвоились ли события, нет ли дублей по идентификатору. Дальше сверка с независимым источником — счётчики бэкенда против клиентских событий, сверка выручки с финансовыми данными. И отдельно проверяю логику метрики на маленьком ручном примере. Однажды расхождение в 6% по событию оплаты объяснилось дублями при ретраях, и это уберегло от неверного вывода по тесту.

• Названы конкретные уровни проверки, а не общие слова
• Есть сверка с независимым источником данных
• Пример с дублями показывает влияние на решения

Возьмите структуру и подставьте свой опыт — заученный чужой ответ интервьюер слышит сразу.

Пример сильного ответа

Гипотезу формулирую так, чтобы её можно было опровергнуть. Каркас: для какого сегмента, какое изменение, какую метрику и на сколько двигаем, почему мы в это верим и какой результат считаем провалом. Обязательно заранее фиксирую критерий успеха, срок и guardrail-метрики, чтобы после теста не подгонять трактовку. Например, в одной задаче по онбордингу ожидание было таким: упрощение первого шага поднимет долю дошедших до ключевого действия на 5 процентных пунктов за две недели. По факту прирост составил 3 пункта — всё равно считаю это победой. Ещё проверяю, что гипотеза опирается на данные или исследование, а не на вкус.

• Есть проверяемый критерий и срок — гипотезу можно опровергнуть.
• Показан реальный результат с цифрой, а не только методика.
• Видно, что в основе гипотезы данные, а не мнение.

Возьмите структуру и подставьте свой опыт — заученный чужой ответ интервьюер слышит сразу.

Пример сильного ответа

Чаще всего использую RICE и матрицу impact/effort, для крупных инициатив — WSJF. RICE удобен тем, что заставляет оценить охват и уверенность, но его слабое место — субъективность: reach берётся из аналитики, а confidence часто ставится на глаз, и итоговый скор создаёт ложное ощущение точности. ICE ещё более субъективен. WSJF хорош там, где важна стоимость задержки, но требует зрелого планирования. Поэтому скор — это только вход в обсуждение: отдельно смотрю зависимости, стратегические ставки и технические риски. В практике с командой из шести человек такой подход позволил за квартал довести до релиза четыре инициативы вместо двух.

• Названы конкретные фреймворки и их ограничения.
• Показано, что скор — вход в обсуждение, а не истина.
• Есть измеримый результат: четыре релиза за квартал.

Возьмите структуру и подставьте свой опыт — заученный чужой ответ интервьюер слышит сразу.

Пример сильного ответа

Когда A/B невозможен, собираю доказательства из нескольких источников. Смотрю воронки и когорты в продуктовой аналитике, строю сегментацию, ищу аномалии по срезам: платформа, источник трафика, регион, старые и новые пользователи. Дальше — качественные методы: интервью, юзабилити-тесты, анализ записей сессий, текстов свободных ответов в поддержке. Если есть региональная или постепенная раскатка, использую квази-эксперимент: diff-in-diff, синтетический контроль, сопоставление похожих групп. Помогает и сравнение до/после с поправкой на сезонность. В одном случае анализ 40 интервью и когорт показал, что проблема в шаге подтверждения, и правка дала плюс 8% к завершению.

• Сочетание количественных и качественных методов.
• Названы квази-эксперименты для ситуации без A/B.
• Есть цифры: 40 интервью и рост на 8%.

Возьмите структуру и подставьте свой опыт — заученный чужой ответ интервьюер слышит сразу.