Вопросы на собеседовании ML-инженера

Пример сильного ответа

Переобучение — это когда модель запоминает обучающую выборку и теряет обобщение: качество на трейне высокое, на валидации — заметно ниже. Недообучение — обратная ситуация: модель слишком простая, и обе метрики низкие. Обнаруживаю через кросс-валидацию и кривые обучения: смотрю на разрыв между train и validation. В одном проекте разрыв достигает 14 процентных пунктов. Снижают его L2-регуляризация, ранняя остановка и добавление данных — до трёх пунктов. Против недообучения работает усложнение модели, новые признаки и более длительное обучение.

• Чётко разделены overfitting и underfitting
• Показаны методы обнаружения и предотвращения
• Личный пример с цифрами разрыва

Возьмите структуру и подставьте свой опыт — заученный чужой ответ интервьюер слышит сразу.

Пример сильного ответа

Градиентный спуск — это итеративный метод оптимизации: мы минимизируем функцию потерь, двигаясь в сторону антиградиента. Сначала веса инициализируются, затем на каждом шаге считаем градиент по батчу данных и обновляем параметры: новый вес — это старый минус произведение learning rate и градиента. Размер шага имеет большое значение. На одном проекте learning rate 0.01 даёт сходимость за 30 эпох, а 0.1 — расходимость. Использую mini-batch и Adam: они ускоряют обучение и делают его устойчивее. Останавливаюсь по early stopping, когда валидационная метрика перестаёт улучшаться.

• Простое и точное объяснение градиентного спуска
• Показана роль learning rate и оптимизаторов
• Личный пример с параметрами обучения

Возьмите структуру и подставьте свой опыт — заученный чужой ответ интервьюер слышит сразу.

Пример сильного ответа

Выбор метрики идёт от бизнес-задачи и от баланса классов. Accuracy хорошо работает на сбалансированных данных, но при дисбалансе обманывает: модель, которая всегда предсказывает мажоритарный класс, даёт высокую долю верных ответов и нулевую пользу. Precision важна, когда дорог ложноположительный ответ, recall — когда нельзя пропустить событие. F1 удобна как компромисс, ROC-AUC — для ранжирования, PR-AUC — при сильном дисбалансе. В проекте с оттоком, где доля ушедших около пяти процентов, основной метрикой была PR-AUC и recall при фиксированном precision: удалось поднять recall с 0,4 до 0,65, не увеличив долю ложных срабатываний.

• Показана логика выбора метрики от задачи
• Есть конкретные цифры по дисбалансу
• Отмечены ограничения accuracy

Возьмите структуру и подставьте свой опыт — заученный чужой ответ интервьюер слышит сразу.

Пример сильного ответа

Random Forest — это ансамбль решающих деревьев. Идея в бэггинге: из обучающей выборки формируются bootstrap-подвыборки, на каждой обучается своё дерево, а на каждом разбиении рассматривается случайное подмножество признаков. Это делает деревья менее коррелированными, а усреднение их ответов снижает разброс и защищает от переобучения, которое характерно для одиночного глубокого дерева. Для классификации ответы агрегируются голосованием, для регрессии — усреднением. Мне приходилось настраивать число деревьев и глубину: лес из 500 деревьев с ограничением глубины дал прирост ROC-AUC примерно на четыре пункта относительно одиночного дерева и устойчивую важность признаков, которую удобно объяснять бизнесу.

• Чётко описаны бэггинг и случайные подмножества признаков
• Объяснено снижение дисперсии ансамбля
• Есть личный опыт настройки и цифры

Возьмите структуру и подставьте свой опыт — заученный чужой ответ интервьюер слышит сразу.

Пример сильного ответа

Регуляризация — это штраф за сложность модели, который добавляется к функции потерь. L1 штрафует сумму модулей весов и за счёт этого обнуляет часть коэффициентов: модель фактически самостоятельно отбирает признаки, что удобно, когда признаков много и нужна интерпретируемость. L2 штрафует сумму квадратов и плавно стягивает веса к нулю, но не обнуляет их: это помогает при мультиколлинеарности и делает решение устойчивее. Смысл — ограничить размах коэффициентов, чтобы модель не подгонялась под шум и лучше показала себя на новых данных. В одной задаче с двумя тысячами признаков L1-модель обнулила около семидесяти процентов весов и по качеству не уступила полной, зато стала проще и быстрее.

• Различие L1 и L2 объяснено через эффект
• Показана связь с переобучением
• Приведён пример из практики с числами

Возьмите структуру и подставьте свой опыт — заученный чужой ответ интервьюер слышит сразу.

Пример сильного ответа

Мой подход — идти от задачи, а не от моды. Сначала уточняю тип задачи и ограничения: объём и качество данных, требования к интерпретируемости, допустимую задержку ответа, то, как модель будет жить в проде. Дальше строю простой бейзлайн — логистическую регрессию или решающее дерево — и фиксирую метрику, с которой сравниваю всё остальное. Затем пробую два-три более сильных кандидата: градиентный бустинг, случайный лес, линейные модели с регуляризацией, при необходимости нейросеть. Сравниваю на кросс-валидации и отложенном наборе, смотрю не только на качество, но и на стабильность и скорость инференса. В одном проекте бустинг дал плюс около трёх процентов к метрике, а линейная модель была в разы быстрее, поэтому в прод ушла именно она.

• Виден системный подход от задачи и бейзлайна
• Учтены продовые ограничения и скорость
• Есть честный вывод в пользу простой модели

Возьмите структуру и подставьте свой опыт — заученный чужой ответ интервьюер слышит сразу.

Пример сильного ответа

Смещение — это систематическая ошибка модели, когда она слишком проста и не улавливает закономерности данных: это недообучение, ошибка высока и на train, и на валидации. Дисперсия — чувствительность модели к конкретной выборке: сложная модель запоминает шум, показывает отличное качество на обучении и заметно хуже на новых данных. Полная ошибка складывается из смещения, дисперсии и неразрешимого шума, поэтому нужен баланс. Смотрю на кривые обучения и разрыв между train и валидацией: большой разрыв говорит о высокой дисперсии, и тогда помогают регуляризация, упрощение модели и больше данных; низкое качество на обеих выборках — про смещение, там нужны более сложная модель или новые признаки. В работе разрыв в метрике между обучением и валидацией сократился примерно с пятнадцати до трёх процентов после регуляризации и добавления данных.

• Определения bias и variance даны простыми словами
• Показана диагностика по кривым обучения
• Есть цифра из собственного опыта

Возьмите структуру и подставьте свой опыт — заученный чужой ответ интервьюер слышит сразу.

Пример сильного ответа

Сверточная сеть — это архитектура, где слой применяет небольшие обучаемые фильтры к локальным участкам входа. За счет разделяемых весов число параметров резко меньше, чем у полносвязной сети, а слои строят иерархию признаков: от краев и текстур до объектов. Обычно добавляю пулинг и батч-нормализацию. Мне приходилось применять CNN не только к изображениям, но и к спектрограммам звука и к сенсорным временным рядам. В одной задаче классификации дефектов по снимкам удалось поднять точность с 88 до 94 процентов при том же времени инференса — за счет аугментаций и подбора размера ядра.

• Есть определение, механизм работы и области применения — вопрос раскрыт целиком
• Конкретный результат с цифрами подтверждает практический опыт
• Разные домены показывают, что опыт не ограничен картинками

Возьмите структуру и подставьте свой опыт — заученный чужой ответ интервьюер слышит сразу.

Пример сильного ответа

Рекуррентная сеть обрабатывает последовательность по шагам и на каждом держит скрытое состояние, которое сжимает историю. Обучение идет обратным распространением по времени, и здесь главная беда — затухающие или взрывные градиенты: длинные зависимости почти не удерживаются. Плюс шаги нельзя распараллелить, поэтому на длинных рядах обучение медленное. LSTM и GRU снимают часть проблемы гейтами, но не всю. В прогнозе нагрузки на инфраструктуру мне приходилось сравнивать LSTM и градиентный бустинг с лагами: ошибка у бустинга оказывалась примерно на 12 процентов ниже при обучении в разы быстрее.

• Названы и механика, и главные ограничения — градиенты и последовательная обработка
• Упомянуты LSTM и GRU как способы частичного решения
• Сравнение с бустингом на своих цифрах звучит убедительно

Возьмите структуру и подставьте свой опыт — заученный чужой ответ интервьюер слышит сразу.

Пример сильного ответа

Сначала выясняю, что считается аномалией и есть ли разметка, потому что от этого зависит вся стратегия. Дальше строю простой базовый уровень — статистические правила и квантильные пороги, чтобы понять масштаб и не переусложнять. При отсутствии меток беру методы без учителя: изоляционный лес, автоэнкодер по ошибке восстановления, иногда кластеризацию. Порог подбираю не по абстрактной метрике, а по стоимости ложных срабатываний и пропусков. В одном проекте по мониторингу операций такой пайплайн сокращает долю ручных проверок примерно на 40 процентов, а полнота обнаружения держится на уровне 92 процентов.

• Ответ начинается с уточнения постановки, а не с выбора алгоритма
• Показан переход от простого бейзлайна к более сложным методам
• Порог привязан к стоимости ошибок, а не к отвлеченной метрике

Возьмите структуру и подставьте свой опыт — заученный чужой ответ интервьюер слышит сразу.

Пример сильного ответа

Трансформер строит представления через self-attention: каждый элемент последовательности взвешенно собирает информацию со всех остальных, а не по цепочке, как RNN. Поэтому вычисления распараллеливаются по позициям и хорошо ложатся на GPU, а зависимости на длинной дистанции улавливаются за один слой. Позиционную информацию добавляют отдельно, например кодированием или относительными смещениями. Именно эта масштабируемость и возможность предобучения на больших корпусах сделали трансформеры стандартом в NLP. В задаче классификации обращений мне приходилось дообучать предобученную модель на 30 тысячах примеров — качества хватило при заметно меньшей разметке, чем требовалось раньше.

• Сравнение с RNN объясняет суть архитектуры коротко и наглядно
• Названы причины популярности: параллелизм и предобучение на больших данных
• Пример с дообучением подкреплен объемом данных

Возьмите структуру и подставьте свой опыт — заученный чужой ответ интервьюер слышит сразу.

Пример сильного ответа

Внимание — это способ динамически взвесить информацию из разных частей входа. Каждый элемент формирует запрос, ключ и значение; схожесть запроса с ключами дает оценки, softmax превращает их в веса, и итог — взвешенная сумма значений. Масштабирование на корень из размерности нужно, чтобы softmax не уходил в насыщение. Несколько голов позволяют смотреть на разные типы связей параллельно: синтаксис, повторы, дальние отсылки. Мне приходилось визуализировать карты внимания для проверки модели: это помогало находить артефакты и поднять F1 примерно на 5 процентных пунктов.

• Механизм разобран по шагам доступным языком
• Объяснена роль масштабирования и нескольких голов
• Визуализация внимания показана как рабочий инструмент

Возьмите структуру и подставьте свой опыт — заученный чужой ответ интервьюер слышит сразу.

Пример сильного ответа

Кросс-валидация — это схема оценки, при которой данные делятся на несколько частей: модель обучается на всех, кроме одной, а на оставшейся проверяется, и так по кругу, после чего метрики усредняются. Нужна она, чтобы получить устойчивую оценку обобщающей способности, не подогнаться под один удачный сплит и честно подбирать гиперпараметры. Мне приходилось на размеченном наборе примерно в 12 тысяч примеров сравнивать одиночный hold-out и пятифолдовую стратифицированную схему: разброс ROC-AUC упал примерно с 0.05 до 0.01. Для временных рядов использую разбиение по времени, для групп — по пользователю, чтобы не было утечек.

• Показано понимание сути, а не заученного определения
• Есть личный результат с конкретными числами
• Отмечены нюансы: стратификация, группы, время

Возьмите структуру и подставьте свой опыт — заученный чужой ответ интервьюер слышит сразу.

Пример сильного ответа

Этика в ML для меня — это набор конкретных рисков: смещения в данных и несправедливые решения по отдельным группам, утечка персональных данных, непрозрачность, использование модели не по назначению. Подход такой: до обучения фиксирую важные срезы данных и считаю качество отдельно по каждому; убираю признаки-прокси, которые косвенно кодируют чувствительные атрибуты; минимизирую и обезличиваю данные; документирую ограничения модели и оставляю человеку право финального решения в спорных кейсах. На одной задаче проверка по срезам показала разрыв в точности около 12 процентных пунктов, после переработки признаков он сократился примерно до 3.

• Риски названы конкретно, а не абстрактно
• Описан процесс: аудит, признаки, данные, ревью
• Есть измеримый результат по срезам

Возьмите структуру и подставьте свой опыт — заученный чужой ответ интервьюер слышит сразу.

Пример сильного ответа

Векторное представление — это способ описать слово или токен набором чисел, обычно от ста до трёхсот, так, чтобы близкие по смыслу слова оказывались рядом в этом пространстве. Вместо разреженного one-hot на сотни тысяч признаков получаем плотный компактный вектор, который несёт семантику и обобщается на редкие слова. Обучается такое представление на контексте: по соседним словам или как внутренний слой языковой модели. Мне это нужно как вход для классификаторов, поиска и рекомендаций: на словаре около 250 тысяч токенов эмбеддинги дали компактное представление вместо сотен тысяч бинарных признаков и прирост F1 примерно на 4 пункта по сравнению с мешком слов.

• Определение дано простыми словами и с размерностью
• Объяснена практическая польза для задач
• Есть личный измеримый результат

Возьмите структуру и подставьте свой опыт — заученный чужой ответ интервьюер слышит сразу.

Пример сильного ответа

Для интернет-магазина я выбираю гибридную двухэтапную схему. На первом этапе — отбор кандидатов: коллаборативная фильтрация по неявным взаимодействиям плюс контентные признаки товаров, чтобы закрывать холодный старт новых позиций и пользователей. На втором — ранжировщик, который учитывает цену, наличие, историю и контекст сессии и оптимизирует NDCG и CTR. Обязательно онлайн-логирование и A/B-тесты, потому что офлайн-метрики не всегда переносятся в продакшн. Мне приходилось вести такую систему на каталоге около миллиона товаров: перестроенный ранжировщик дал примерно плюс 7 процентов к CTR и плюс 4 процента к конверсии.

• Названы оба этапа: отбор и ранжирование
• Учтён холодный старт
• Результат выражен в бизнес-метриках

Возьмите структуру и подставьте свой опыт — заученный чужой ответ интервьюер слышит сразу.

Пример сильного ответа

Здесь ключевые сложности — сильный дисбаланс классов и требования к скорости. Я строю потоковую схему: признаки считаю в реальном времени по окнам — активность за час, сутки, неделю, новые устройства, связи между счетами, — а решение принимаю за доли секунды. Базовая модель — градиентный бустинг, дополнительно нетипичные случаи ловлю автоэнкодером, чтобы видеть новые схемы. Метки приходят с задержкой, поэтому обучаю на подтверждённых случаях с весами по времени и оцениваю по PR-AUC, а не по ROC-AUC. Порог выбираю по стоимости ошибок, ложные срабатывания отправляю на ручную проверку. На похожей задаче удалось снизить долю ложных срабатываний примерно на 30 процентов при том же уровне отлова.

• Учтены дисбаланс, задержка меток и скорость
• Названы модель, метрика и способ выбора порога
• Есть результат в понятных цифрах

Возьмите структуру и подставьте свой опыт — заученный чужой ответ интервьюер слышит сразу.

Пример сильного ответа

Я начинаю с данных: собираю логи поиска, клики, переходы и запросы без результатов, формирую разметку релевантности. Дальше строю двухэтапную схему: быстрый отбор кандидатов по эмбеддингам, затем переранжирование моделью learning-to-rank на признаках запроса, документа и поведения пользователя. Обязательно оставляю текстовый baseline, чтобы видеть реальный прирост. В одном проекте такая схема дала рост доли успешных сессий примерно на 15 процентов при том же времени отклика. Запуск — только через A/B-тест на живом трафике: офлайн-метрики легко обманывают.

• Показан полный цикл: данные, модель, измерение эффекта
• Есть конкретная цифра прироста и оговорка про скорость
• Упомянут A/B-тест как обязательный шаг внедрения

Возьмите структуру и подставьте свой опыт — заученный чужой ответ интервьюер слышит сразу.

Пример сильного ответа

Сравнение начинаю с честного протокола: одинаковые train, validation и test, единый сплит по времени, зафиксированный seed и одна метрика качества. Кроме основной метрики смотрю на precision и recall при рабочем пороге, калибровку вероятностей, стабильность по сегментам и стоимость инференса. Обязательно считаю доверительные интервалы и проверяю, значима ли разница. В одном проекте модель с чуть худшим AUC выиграла за счёт вдвое меньшей задержки и меньшего числа ошибок на редких классах. Финальное решение принимается по A/B-тесту на продуктовой метрике.

• Назван корректный протокол сравнения без утечек
• Учтены не только метрики, но и задержка, калибровка
• Есть пример выбора неочевидной модели с цифрой

Возьмите структуру и подставьте свой опыт — заученный чужой ответ интервьюер слышит сразу.

Пример сильного ответа

В проекте по прогнозу оттока выяснилось, что часть признаков приходит с задержкой, а в одном сегменте записи дублируются. Моя задача была не просто почистить данные, а понять причину и не потерять сигнал. Пришлось пересобрать пайплайн: добавить проверки схемы и диапазонов, дедупликацию по ключу и мониторинг качества данных. Заодно выяснилось, что доля битых записей доходила до 8 процентов. После правок качество на отложенной выборке выросло, а число ручных разборов сократилось примерно втрое.

• Структура STAR: проблема, действие, измеримый результат
• Показано системное решение, а не разовая чистка
• Есть цифры: доля битых записей и сокращение ручной работы

Возьмите структуру и подставьте свой опыт — заученный чужой ответ интервьюер слышит сразу.

Пример сильного ответа

Сначала отделяю проблему данных от проблемы модели: разбираю ошибки, смотрю метрики по сегментам, проверяю утечки и качество разметки. Часто оказывается, что дело не в алгоритме, а в признаках или в несогласованности целевой метрики с бизнес-задачей. Дальше действую по приоритетам: добавляю признаки, меняю постановку, пробую более простой baseline. В одном проекте качество упиралось в шумную разметку: после пересмотра правил и повторной разметки части выборки основной показатель вырос примерно на 10 процентов. И честно сообщаю стейкхолдерам, если планка недостижима.

• Показан диагностический подход вместо перебора моделей
• Есть пример с цифрой прироста после работы с разметкой
• Упомянута честная коммуникация про реалистичность цели

Возьмите структуру и подставьте свой опыт — заученный чужой ответ интервьюер слышит сразу.

Пример сильного ответа

Мне приходилось отстаивать переход от ручных правил к модели ранжирования. Команда опасалась, что поведение станет непредсказуемым. Я не начинаю со спора о технологиях: готовлю офлайн-эксперимент на исторических данных и показываю цифры — где правила ошибаются и сколько теряем на этом. Затем предлагаю безопасный запуск: модель работает на части трафика, есть фолбэк на правила и понятные метрики отката. Плюс объясняю, как решение контролируется. Такой подход снял основные возражения, и пилот на 10 процентах трафика дал рост ключевой метрики поиска примерно на 7 процентов.

• Убеждение строится на цифрах, а не на давлении
• Предложен безопасный пилот с фолбэком и откатом
• Есть конкретный результат пилота в процентах

Возьмите структуру и подставьте свой опыт — заученный чужой ответ интервьюер слышит сразу.