Вопросы на собеседовании Дата-инженера

Как отвечать: Назовите логический порядок: FROM, JOIN, WHERE, GROUP BY, HAVING, SELECT, ORDER BY, LIMIT — и объясните, почему агрегаты нельзя фильтровать в WHERE.

Как отвечать: Используйте оконную функцию: ROW_NUMBER или RANK с PARTITION BY client_id ORDER BY order_date DESC, фильтр по номеру строки — и упомяните, чем ROW_NUMBER отличается от RANK.

Как отвечать: Начните с плана запроса (EXPLAIN/EXPLAIN ANALYZE), проверьте индексы и ключи партиционирования, полные сканы, джойны по неиндексированным полям — и предложите конкретные меры.

Как отвечать: Перечислите INNER, LEFT, RIGHT, FULL, CROSS — и приведите пример, где замена INNER на LEFT меняет результат: потеря строк без совпадений и дубликаты при джойне «один ко многим».

Как отвечать: Покажите понимание потоковой обработки: чтение чанками через chunksize в pandas, генераторы, внешняя сортировка — и когда вместо pandas нужен Spark или DuckDB.

Как отвечать: Объясните ленивые вычисления и потребление памяти, приведите пример: построчная обработка логов генератором против загрузки всего файла в список.

Как отвечать: Сравните строчное и колоночное хранение, паттерны нагрузки, нормализацию против денормализации — и упомяните реплики и CDC как способ разгрузить источник.

Как отвечать: Упомяните колоночное хранение, сортировку по ORDER BY-ключу, партиции, разреженный индекс, сжатие — и ограничения: слабые UPDATE/DELETE и отсутствие транзакций.

Как отвечать: Сравните архитектуру MPP против колоночной СУБД, сильные стороны: Greenplum — сложные джойны и соответствие SQL-стандарту, ClickHouse — скорость агрегаций и логи; привяжите к типам нагрузки.

Как отвечать: Объясните на примере: факты — события с мерами (продажи, клики), измерения — справочники (клиенты, товары, даты); упомяните, почему витрины денормализуют.

Как отвечать: Опишите хранение истории: новая строка с датами valid_from/valid_to и флагом актуальности, суррогатные ключи — и пример, когда бизнесу нужна история изменений атрибута.

Как отвечать: Покажите понимание компромисса: Data Vault — гибкость к изменениям источников и аудит хабов/линков/сателлитов, Kimball — простота и скорость витрин для BI; привяжите к масштабу и зрелости компании.

Как отвечать: Объясните: повторный запуск за ту же дату даёт тот же результат без дублей — перезапись партиции (INSERT OVERWRITE), upsert по ключу, delete+insert; объясните, зачем это нужно при падениях.

Как отвечать: Расскажите про задачи и зависимости, catchup и параметр execution_date/logical_date, идемпотентные таски, ограничение параллелизма — и отличие backfill от перезапуска «вручную за вчера».

Как отвечать: Объясните shuffle и партиции, sort-merge против broadcast join, перекос: одна «горячая» ключевая группа грузит один executor — и меры: соление ключей, broadcast маленькой таблицы.

Как отвечать: Расскажите про топики, партиции, офсеты и consumer group, ретраи и дубликаты при at-least-once, идемпотентный producer и транзакции для exactly-once — и цену этих гарантий.

Как отвечать: Назовите проверки на полноту, уникальность и валидность, dbt tests или Great Expectations, мониторинг свежести и объёмов, алерты и блокировку публикации «битой» витрины.

Как отвечать: Покажите метод: инвентаризация источников и требований аналитиков, слои (сырые данные, детальный слой, витрины), выбор стека под бюджет и команду, план миграции без остановки отчётности.

Как отвечать: Покажите системную диагностику: сверка с источником по контрольным суммам, проверка дублей и пропусков, свежести партиций, изменений в источнике — и как сообщите результат заинтересованным.

Как отвечать: Ответьте по STAR: масштаб сбоя, ваши действия по восстановлению и backfill-у, коммуникация с аналитиками — и что изменили в пайплайне, чтобы это не повторилось.

Как отвечать: Покажите баланс: не отказать, но защитить прод — реплика или готовая витрина, разъяснение рисков прямого доступа и предложение устойчивого решения вместо разового костыля.

Как отвечать: Опишите подход: восстановление логики по коду и данным, безопасные эксперименты на копии, постепенное покрытие тестами и оставление документации после себя.

Как отвечать: Покажите перевод с технического на язык денег и сроков: варианты «быстро и грязно» против «правильно», прозрачные риски каждого и совместный выбор приоритета.

Как отвечать: Приведите конкретный пример: какую задачу решали, как учились (документация, пет-проект), как внедряли в прод и какой эффект получили в метриках или деньгах.

Как отвечать: Изучите компанию заранее: свяжите ответ с её стеком данных, масштабом и задачами из вакансии — покажите, что понимаете, чем отличается их контуру данных от вашего текущего.