Вопросы на собеседовании специалиста по Data Science

Пример сильного ответа

Precision отвечает на вопрос: среди тех, кого модель назвала положительными, сколько действительно положительных. Recall — какую долю всех реальных положительных объектов модель нашла. Выбор зависит от цены ошибки. В антифроде и в медицинских задачах важнее recall: пропустить мошенническую операцию или больного дороже, чем лишний раз проверить. Там, где ложное срабатывание дорого — блокировка клиента, отбор заявок на ручную проверку — держим precision. Обычно я смотрю на обе метрики и подбираю порог под задачу: в одном проекте порог подняли так, что ложных срабатываний стало примерно на треть меньше.

• Дано чёткое определение обеих метрик
• Привязка к цене ошибки, а не к теории
• Есть пример подбора порога с результатом

Возьмите структуру и подставьте свой опыт — заученный чужой ответ интервьюер слышит сразу.

Пример сильного ответа

ROC-AUC — это вероятность, что случайно взятый положительный объект модель оценит выше случайно взятого отрицательного. Метрика удобна: не зависит от порога и от доли классов. Но именно поэтому при сильном дисбалансе она обманчиво хороша: отрицательных объектов много и среди них много простых, поэтому даже слабая модель в редком классе даёт высокий AUC. Бизнесу же важно не качество сортировки вообще, а качество в верхушке списка. Поэтому смотрю ещё на PR-AUC, на precision и recall при рабочем пороге, на lift в топ-N. В антифрод-задаче ROC-AUC был около 0,95, а precision в верхней части списка оказался заметно ниже ожиданий.

• Метрика объяснена простыми словами
• Названо главное ограничение при дисбалансе
• Есть альтернативные метрики и живой пример

Возьмите структуру и подставьте свой опыт — заученный чужой ответ интервьюер слышит сразу.

Пример сильного ответа

Первое — сравнить качество на обучении и на отложенной выборке или в кросс-валидации: если на трейне заметно выше, это переобучение. Смотрю также на разброс между фолдами, на кривые обучения и на поведение модели на новых данных через время. Дальше — что делать: регуляризация, ранняя остановка, уменьшение сложности модели, отбор признаков, больше данных, ансамблирование. Обязательно честный сплит, лучше по времени, а не случайный. В одной задаче после сокращения признаков примерно до двадцати разрыв между трейном и валидацией заметно сократился, и качество в проде перестало падать.

• Сначала диагностика, потом лечение — логичная структура
• Перечислены рабочие методы борьбы
• Есть результат с конкретным числом признаков

Возьмите структуру и подставьте свой опыт — заученный чужой ответ интервьюер слышит сразу.

Пример сильного ответа

Если коротко: смещение — это систематическая ошибка слишком простой модели, которая не улавливает закономерности; разброс — чувствительность к конкретной выборке, когда модель слишком сложная и запоминает шум. На практике смотрю на кривые обучения: если качество и на трейне, и на валидации низкое — это недообучение, помогают новые признаки и более гибкая модель; если на трейне заметно выше — переобучение, тогда регуляризация, отбор признаков, больше данных. В одной задаче по прогнозу оттока снижение размерности вместе с L2-регуляризацией подняли ROC AUC на валидации примерно на 4 пункта и вдвое сократили разрыв с трейном. Цель — устойчивое качество на новых данных, а не минимум ошибки на обучении.

• Показывает понимание сути, а не заученной формулы
• Даёт практический критерий диагностики по кривым обучения
• Подкреплено измеримым результатом в пунктах метрики

Возьмите структуру и подставьте свой опыт — заученный чужой ответ интервьюер слышит сразу.

Пример сильного ответа

Первый шаг — понять, какое решение принимается по модели и какова цена ошибок. Если важен порядок и ранжирование, например для приоритизации обзвона клиентов, беру ROC AUC или точность в топе выдачи; если критичны ложные срабатывания — отдельно precision и recall, иногда их F-меру. При сильном дисбалансе и вероятностном прогнозе смотрю на PR AUC и на калибровку вероятностей. Дальше перевожу метрику в деньги: в проекте по оттоку пересчёт в упущенную выручку показал, что важнее полнота при заданном уровне точности, и это изменило выбор модели. Метрику согласовываю с заказчиком до старта обучения, чтобы результат не оказался неожиданным.

• Связывает метрику с решением и ценой ошибки
• Перечисляет уместные метрики под разные ситуации
• Показывает согласование метрики с заказчиком заранее

Возьмите структуру и подставьте свой опыт — заученный чужой ответ интервьюер слышит сразу.

Пример сильного ответа

Один split даёт оценку, которая сильно зависит от того, какие объекты попали в тест: при небольшой выборке разброс большой, и модель легко переоценить или недооценить. Кросс-валидация усредняет качество по нескольким фолдам, поэтому оценка устойчивее и видно её разброс. Дополнительно появляется возможность подбирать гиперпараметры внутри цикла, а не на тестовой выборке, иначе тест становится частью обучения и перестаёт быть честным. Для временных рядов использую схему с расширяющимся окном, чтобы не заглядывать в будущее, для сгруппированных данных — групповую разбивку. В одном проекте переход на пятифолдовую схему уменьшил колебания метрики между запусками примерно втрое.

• Объясняет причину, а не только определение
• Упоминает корректные схемы для рядов и групп
• Есть числовой результат — снижение разброса

Возьмите структуру и подставьте свой опыт — заученный чужой ответ интервьюер слышит сразу.

Пример сильного ответа

Сначала смотрю на структуру пропусков: сколько их, в каких столбцах, связаны ли они с целевой переменной. Иногда самостоятельно факт пропуска информативен, тогда делаю отдельный бинарный признак. Дальше решаю по смыслу: числовые заполняю медианой или средним по группе, категориальные — отдельной категорией «неизвестно», а строки с пропуском в ключевом поле убираю. Для временных рядов применяю интерполяцию. Дубликаты проверяю двумя способами: по полному совпадению и по бизнес-ключу, потому что одинаковые записи с разными идентификаторами — часто задвоение заявок или заказов. В одном проекте такая проверка убрала около семи процентов строк и дала более честную оценку качества.

• Идёт от диагностики данных к решению
• Учитывает бизнес-смысл пропусков и дубликатов
• Есть конкретный измеримый эффект

Возьмите структуру и подставьте свой опыт — заученный чужой ответ интервьюер слышит сразу.

Пример сильного ответа

Наибольший прирост обычно дают не новые модели, а признаки из бизнес-логики. В задаче по прогнозу оттока сильный эффект дала агрегация поведения по окнам: число обращений за последние недели, динамика относительно предыдущего периода, время с последнего контакта. В проекте по спросу — календарные и лаговые признаки: день недели, праздники, скользящие средние, лаги продаж и признаки промо-акций. В сумме это дало рост основной метрики примерно на 8-10 процентов относительно базового набора, и почти весь прирост пришёлся именно на лаговые и оконные признаки, а не на усложнение модели.

• Ставит бизнес-логику выше усложнения модели
• Называет конкретные типы признаков для временных данных
• Есть сравнимый прирост по метрике

Возьмите структуру и подставьте свой опыт — заученный чужой ответ интервьюер слышит сразу.

Пример сильного ответа

Обычно отталкиваюсь от задачи и модели: для линейных моделей и методов, где важны расстояния, беру one-hot или сглаженное target-кодирование, для градиентного бустинга — нативную поддержку категорий либо frequency-кодирование. Подводные камни разные: у one-hot при высокой кардинальности получается разреженная матрица и лишние сотни столбцов, у label-кодирования появляется ложный порядок, у target-кодирования — прямая утечка таргета и переобучение на редких категориях. Поэтому target считаю только на обучающих фолдах и со сглаживанием. В одном проекте кардинальность доходила до восьми тысяч значений, и переход на сглаженное target-кодирование дал рост ROC AUC примерно на четыре пункта.

• Названы конкретные способы кодирования и логика выбора
• Разобраны реальные подводные камни, а не общие слова
• Есть цифра результата из своего опыта

Возьмите структуру и подставьте свой опыт — заученный чужой ответ интервьюер слышит сразу.

Пример сильного ответа

Утечка — это когда в признаки или в отбор модели попадает информация, недоступная в момент предсказания, и офлайн-качество оказывается завышенным. Классические примеры: масштабирование и заполнение пропусков, посчитанные на всей выборке до разбиения; target-кодирование без учёта фолдов; признаки, которые становятся известны уже после предсказываемого события; дубликаты одного клиента в обучающей и тестовой частях; обучение на данных из будущего относительно теста. Мой рабочий приём — считать все преобразования строго внутри пайплайна и проверять схему на временном сплите. Однажды такая проверка показала, что офлайн-метрика была завышена примерно на двенадцать пунктов.

• Дано чёткое определение своими словами
• Несколько разных типов утечки с примерами
• Показан личный приём и его эффект

Возьмите структуру и подставьте свой опыт — заученный чужой ответ интервьюер слышит сразу.

Пример сильного ответа

Чаще всего это агрегации и джойны: собрать витрину с поведением пользователя за период, посчитать конверсии по когортам и воронку по шагам. Ещё регулярно пишу оконные функции — ранжирование событий внутри пользователя, поиск первого и последнего действия, накопительные суммы; и CTE, чтобы разбить сложную логику на читаемые шаги. Отдельный пласт — проверка качества данных: количество дублей, пропуски в ключах, расхождения с эталонной витриной. Запросы обычно идут по таблицам в десятки миллионов строк, и партиционирование вместе с фильтром по дате сокращает время выполнения с минут до секунд.

• Перечислены типовые задачи, а не абстракции
• Упомянуты оконные функции и CTE как рабочий инструмент
• Есть измеримый результат оптимизации

Возьмите структуру и подставьте свой опыт — заученный чужой ответ интервьюер слышит сразу.

Пример сильного ответа

Начинаю с простого бейзлайна и честной валидации: фиксирую метрику, схему сплита и правило отбора, а дальше смотрю, что вообще дают данные. Часто это логистическая регрессия или константное предсказание по среднему — они задают нижнюю планку и показывают вклад признаков. Усложняю только тогда, когда бейзлайн упирается в потолок: добавляю градиентный бустинг, подбор гиперпараметров, ансамбли. Нейросети беру, если данных много и ожидаемый выигрыш оправдывает стоимость поддержки и потерю интерпретируемости. В одном проекте бустинг дал плюс шесть пунктов к метрике, а нейросеть — всего один, и от неё отказались.

• Видна методология: от простого к сложному
• Усложнение привязано к понятному критерию
• Цифры подтверждают практический опыт

Возьмите структуру и подставьте свой опыт — заученный чужой ответ интервьюер слышит сразу.

Пример сильного ответа

Сначала формулирую гипотезу и выбираю одну основную метрику, плюс защитные метрики, которые не должны просесть. Размер выборки считаю от базовой конверсии, минимально интересного эффекта и выбранных уровней ошибок, а длительность вывожу из трафика и полного бизнес-цикла — обычно не меньше одной-двух недель, чтобы захватить недельную сезонность. Обязательно проверяю рандомизацию, равномерность групп и отсутствие пересечений пользователей между ними. В одном эксперименте расчёт дал нужные шестьдесят тысяч пользователей на группу, тест шёл три недели и принёс рост конверсии на три процента без просадки по защитным метрикам.

• Показана полная логика дизайна эксперимента
• Учтены сезонность и защитные метрики
• Есть конкретные числа из практики

Возьмите структуру и подставьте свой опыт — заученный чужой ответ интервьюер слышит сразу.

Пример сильного ответа

Простыми словами: p-value — это вероятность увидеть такой же или более выраженный эффект случайно, если на самом деле никакой разницы нет. Чем меньше значение, тем сложнее объяснить результат случайностью. Я обычно объясняю так: проверяем гипотезу, что выигрыш от новой механики — это шум. На одном проекте по A/B-тесту при выборе между двумя вариантами p-value оказалось около 0,01, и эффект подтвердился на повторном тесте — конверсия выросла примерно на 4%. При этом значимость — не единственный критерий: важно смотреть размер эффекта и доверительный интервал, иначе статистически значимая разница может не иметь практической ценности.

• Простое бытовое объяснение без формул
• Есть цифра из своего опыта
• Показано понимание ограничений критерия

Возьмите структуру и подставьте свой опыт — заученный чужой ответ интервьюер слышит сразу.

Пример сильного ответа

Дрейф данных — когда меняется распределение входных признаков, а дрейф концепции — когда меняется самостоятельно связь между признаками и целевой переменной. Первый заметен без разметки: сравниваю распределения с эталонным окном по метрикам вроде PSI и расхождения средних, смотрю на долю новых категорий и пропусков. Второй требует целевой переменной, поэтому отслеживаю качество по отложенным меткам и по сегментам. На одном проекте в e-commerce доля заказов с нового типа устройства выросла до 15%, и PSI по ключевому признаку ушёл выше порога — это стало сигналом пересобрать признаки и переобучить модель.

• Чёткое различие двух типов дрейфа
• Показаны методы без разметки и с ней
• Подтверждено конкретным примером

Возьмите структуру и подставьте свой опыт — заученный чужой ответ интервьюер слышит сразу.

Пример сильного ответа

Мониторинг строю на трёх уровнях. Первый — технический: доступность сервиса, задержка ответа, доля ошибок, время инференса. Второй — данные: распределения признаков, пропуски, значения вне ожидаемого диапазона. Третий — качество: как только приходит разметка, считаю основную метрику, сравниваю с эталоном и разбиваю по сегментам. Дополнительно слежу за стабильностью скоров. Настраиваю алерты с порогами и дежурство: на моей модели задержка ответа держалась около 120 мс, а доля отказов — в пределах 0,5%, и именно отклонение от этих значений первым сигналило о проблеме.

• Показана структура из трёх уровней
• Есть конкретные метрики и пороги
• Видно понимание процесса алертов

Возьмите структуру и подставьте свой опыт — заученный чужой ответ интервьюер слышит сразу.

Пример сильного ответа

В одном проекте модель со временем теряла качество: метрики падали незаметно, а ручное переобучение занимало до двух дней. Моя задача — выстроить управляемый цикл. Я организую постоянный мониторинг ключевых метрик и дрейфа данных, задаю пороги деградации и автоматический триггер на переобучение. Новую версию сначала проверяю на канареечной выборке, сравниваю с текущей по бизнес-метрикам и только потом вывожу в прод. Все версии и артефакты храню, откат — одна команда, занимает минуты. За полгода — три плановых переобучения и один откат без простоя. Время реакции сократилось с двух дней до четырёх часов.

• Есть конкретика: сроки, число переобучений и откатов.
• Показан полный цикл: мониторинг, триггер, канареечный релиз, откат.
• Ответ без привязки к устаревающим нормам и законам.

Возьмите структуру и подставьте свой опыт — заученный чужой ответ интервьюер слышит сразу.

Пример сильного ответа

Бизнесу не нужны коэффициенты, нужны понятные причины и границы применимости. Объясняю через вклад признаков: какие факторы подняли или опустили скор для конкретного случая и насколько этот случай похож на данные, на которых модель училась. Дополнительно показываю, как часто модель ошибается в похожих ситуациях. На одном проекте по прогнозу оттока основной вклад давали снижение активности за месяц и обращение в поддержку — это понятная история для бизнеса. Такой разбор помог согласовать приоритеты, и удалось снизить отток в целевом сегменте примерно на 12%.

• Перевод с языка модели на язык бизнеса
• Учтены границы применимости и ошибки
• Есть измеримый результат для бизнеса

Возьмите структуру и подставьте свой опыт — заученный чужой ответ интервьюер слышит сразу.

Пример сильного ответа

На старте я уточняю бизнес-цель: что считаем оттоком, какой горизонт прогноза, как решение повлияет на выручку. Дальше — данные: собираю историю активности, платежей, обращений, проверяю утечки и дисбаланс классов. В одном проекте выборка — 2,5 млн клиентов, доля оттока около 8%. Строю базовую модель, затем градиентный бустинг, смотрю точность, полноту и экономический эффект. Валидацию делаю по времени, чтобы избежать утечки из будущего. Дальше — внедрение: скоринг в системе менеджера, пороги для удержания, мониторинг индекса стабильности и качества. Результат: прирост удержания на 5% среди клиентов из группы риска.

• Показан полный цикл от бизнес-цели до мониторинга
• Есть конкретные цифры: 2,5 млн клиентов и +5%
• Названы ключевые риски: утечки и дисбаланс

Возьмите структуру и подставьте свой опыт — заученный чужой ответ интервьюер слышит сразу.

Пример сильного ответа

Я объясняю так: p-значение 0,04 говорит, что эффект вряд ли случаен, но он не равен ожидаемым +10%. Доверительный интервал, скорее всего, включает значения около +2%, и верхняя граница далеко от +10%. Значит, статистическая значимость есть, а практическая — скромная. Проверяю мощность теста, длительность, сегменты и новизну. В одном кейсе при выборке 120 тысяч пользователей эффект +2,5% устойчив только в одном сегменте. Менеджеру показываю не p-значение, а доверительный интервал, влияние на выручку и риск. Решение: либо масштабировать с другими метриками, либо искать более сильную гипотезу.

• Разделяет статистическую и практическую значимость
• Переводит результат на язык денег и риска
• Есть пример с выборкой 120 тысяч пользователей

Возьмите структуру и подставьте свой опыт — заученный чужой ответ интервьюер слышит сразу.

Пример сильного ответа

Первым делом проверяю, нет ли сбоя в процессе обработки данных: пропуски, типы, порядок признаков, задержки. Дальше сравниваю распределения признаков на проде и обучении: индекс стабильности, критерий Колмогорова — Смирнова. В одном проекте индекс стабильности ключевого признака — 0,05 на обучении и 0,4 на проде, это сигнал дрейфа. Смотрю качество по сегментам и во времени, отделяю дрейф данных от дрейфа концепции. Проверяю, нет ли изменений в бизнес-процессе: новые каналы, акции, сезонность. Если дрейф устойчивый, запускаю переобучение на свежих данных, обновляю мониторинг и оповещения. Результат: возвращаю метрику к прежнему уровню и добавляю автоматическую проверку.

• Пошаговая диагностика от процесса данных до дрейфа
• Указаны метрики: индекс стабильности и Колмогорова — Смирнова
• Есть конкретный пример роста индекса с 0,05 до 0,4

Возьмите структуру и подставьте свой опыт — заученный чужой ответ интервьюер слышит сразу.

Пример сильного ответа

В одном проекте мы пытались предсказать отток клиентов с помощью ML. Модель показывала точность около 50%, что не лучше случайного угадывания. Моя задача была разобраться в причинах. Я провожу анализ данных и вижу, что признаки содержат утечку из будущего, а исторических данных мало. Я предлагаю отказаться от ML и перейти к простым бизнес-правилам на основе поведения клиентов. В итоге мы снизили отток на 15% за счёт ручных кампаний. Я понимаю, что иногда простое решение эффективнее сложной модели, и всегда нужно проверять данные на утечки.

• Показывает честность и готовность признавать неудачи.
• Демонстрирует навык анализа данных и поиска причин.
• Подчеркивает ориентацию на бизнес-результат, а не на модель.

Возьмите структуру и подставьте свой опыт — заученный чужой ответ интервьюер слышит сразу.

Пример сильного ответа

Я говорю на языке бизнеса: не про площадь под кривой, а про то, сколько ошибок и денег это означает. В одном проекте модель с точностью 85%, и я объясняю: из 100 клиентов 15 могут быть отнесены неверно; ручная проверка 5% самых рискованных снижает риск. Моя задача — дать варианты: принять ограничение, собрать данные, изменить процесс. Использую аналогии: модель как стажёр, ей нужны проверка и обучение. Фиксирую ожидания письменно, называю метрики и условия пересмотра. Так заказчик принимает решение осознанно, без иллюзий.

• Перевод технических метрик на язык бизнеса
• Есть пример с точностью 85% и ручной проверкой
• Предложены варианты решений и фиксация ожиданий

Возьмите структуру и подставьте свой опыт — заученный чужой ответ интервьюер слышит сразу.