Собеседование Data Engineer: вопросы и голосовая практика

Дата-инженер — одна из самых востребованных ролей сейчас: данных всё больше, а людей, которые умеют строить надёжные пайплайны, мало. На собеседовании проверяют SQL глубже уровня SELECT *, устройство хранилищ, оркестрацию и стриминг.

Мидлам и сеньорам спрашивают проектирование: как организовать слои DWH, incremental load vs full reload, идемпотентность пайплайнов, работа с late data. Проговорите ответы вслух — это то, что проверяют вживую.

Примеры вопросов — уровень Junior

• Что такое ETL и чем он отличается от ELT?
• Что такое первичный ключ в таблице и зачем он нужен?
• Чем INNER JOIN отличается от LEFT JOIN?
• Что делает оконная функция ROW_NUMBER?
• Для чего нужен GROUP BY и какое условие фильтрации используется после него?

Примеры вопросов — уровень Senior

• Как бы ты спроектировал пайплайн, который забирает изменения из операционной PostgreSQL-базы в аналитическое хранилище с задержкой не больше пары минут?
• Когда при проектировании витрины тебе стоит выбрать модель «звезда», а когда осознанно уйти в широкую денормализованную таблицу, и чем ты за это платишь?
• Как бы ты построил идемпотентную загрузку данных, чтобы повторный запуск упавшей задачи не создавал дубликатов?
• Что для тебя важнее при выборе между batch-обработкой и потоковой: стоимость, сложность поддержки или свежесть данных? Приведи пример, когда ты выбрал бы каждый вариант.?
• Как бы ты организовал бэкфил двухлетней истории в таблицу, которая уже ежедневно обновляется, так чтобы не сломать текущие отчёты?

Проверьте себя вживую

Список — это хорошо, но на собеседовании отвечать придётся голосом и под давлением. Запустите тренажёр: AI задаст 10 вопросов, выслушает ваши ответы и подведёт итоги.