Middle+ / Senior ETL-разработчик (удаленная работа)

Вакансия: Middle+ / Senior ETL-разработчик

Описание вакансии

Требуется ETL-разработчик на проект.

Отрасль: госсектор

Дата старта проекта: в ближайшее время

Продолжительность проекта: от 3-4 месяцев (возможно продление)

Задача:

Проект миграция аналитического блока федеральной системы на отечественную СУБД (импортозамещение, Arenadata Postgres/ADB6).

Нужно перенести действующие ETL-процессов (часть на Pentaho DI, часть уже на Airflow) со связки MSSQL / Vertica / PostgreSQL на целевой стек, сохранив трёхслойную архитектуру данных, без потери данных и функциональности. Реализовать тест-кейсы проверки качества данных и метрики для мониторинга пайплайнов.

Обязательные требования (Must Have):

Готовность работать в команде заказчика, следовать внутренним процессам и методологиям

Опыт коммерческой разработки и сопровождения ETL/ELT-процессов от 3 лет

Продвинутый SQL:

Написание и оптимизация сложных запросов (оконные функции, CTE, материализованные представления)

Опыт работы с большими объёмами данных (partitioning, indexing, query plan analysis)

Опыт работы с СУБД: PostgreSQL, MS SQL Server, Vertica

Практический опыт с инструментами оркестрации и ETL/ELT (обязательно, целевой стек):

Apache Airflow не менее года практического опыта

Программирование на Python (Pandas, Psycopg2, Airflow SDK)

Pentaho Data Integration (Kettle) опыт чтения/переноса существующих трансформаций (.ktr/.kjb) на Python/Airflow

Опыт работы с Arenadata (ADPG и/или ADB6) либо другой отечественной СУБД из реестра (Postgres Pro, Jatoba и т.п.) обязательно, целевая платформа проекта

Обеспечение качества данных (Data Quality):

Реализация валидации данных при загрузке (полнота, консистентность, соответствие формату)

Сквозное логирование пайплайнов с детализацией по шагам, объёмам и ошибкам

Механизмы error handling, retry logic, уведомлений

Опыт миграции между СУБД / трёхслойных схем данных (staging/DDS/витрины)

Понимание инкрементальных загрузок (delta, CDC), идемпотентности пайплайнов, обработки SCD

Готовность работать в команде заказчика, следовать внутренним процессам и методологиям

Навыки коммуникации и работы в распределённых командах

Желательные требования:

• Опыт проектов по импортозамещению СУБД в госсекторе
• Знание принципов Data Vault 2.0 / Kimball (dimensional modeling)
• Навыки настройки мониторинга пайплайнов (Grafana/Prometheus, алертинг)
• Опыт работы с большими объёмами данных в высоконагруженных системах (300 000+ пользователей, десятки млн записей/день)