Data Engineer (DWH / NRT) (удаленная работа)

Вакансия: Data Engineer (DWH / NRT)

Описание вакансии

Чем предстоит заниматься:

• Проектирование и развитие архитектуры DWH: Применение системного подхода к моделированию корпоративного хранилища данных, проектирование детального слоя данных ( DDS / Data Vault) и витрин данных.
• Сопровождение и масштабирование хранилища: Развитие экосистемы DWH на базе Greenplum, Clickhouse и PostgreSQL .
• Разработка контуров пакетной и NRT-обработки: Создание, оптимизация и поддержка ETL/ELT процессов (batch) и стриминговых потоков данных ( Near Real-Time ).
• Работа с dbt: Построение, организация и оркестрация слоя трансформаций данных с использованием dbt , обеспечение качества данных (data quality) и версионирования моделей.
• Оптимизация производительности: Разработка хранимых процедур, функций и экспертная оптимизация сложных SQL-запросов под архитектурные особенности MPP (Greenplum) и колоночных (Clickhouse) СУБД.
• Интеграция со смежными командами: Взаимодействие с BI-аналитиками и разработчиками для обеспечения прозрачного Data Lineage и высокого качества аналитических данных.

Обязательные требования:

• Стек и базы данных: Уверенное знание SQL (аналитические функции, CTE, JOIN), опыт работы и оптимизации PostgreSQL (PL/pgSQL), Greenplum (MPP) и Clickhouse .
• Трансформация и оркестрация: Практический опыт работы с dbt (материализации, тесты, документация) и Apache Airflow .
• Разработка и инструменты: Уверенное владение Python для задач дата-инженерии, знание Git и базовых CI/CD практик.
• Аналитический склад ума: Умение разбираться в чужом коде, проводить рефакторинг и вносить необходимые изменения в существующие ETL-пайплайны.

Желательно (будет плюсом):

• Архитектурный бэкграунд: Понимание системного подхода к проектированию DWH, методологий моделирования данных (Kimball, Inmon, Data Vault 2.0) и построения слоев данных ( DDS ).
• Стриминг и NRT: Опыт работы с Apache Kafka (проектирование топиков, интеграция, delivery guarantees) и реализации Near Real-Time контуров (включая ClickHouse Kafka Engine).
• Опыт работы с распределенной обработкой данных ( Apache Spark, Apache Flink ).
• Опыт работы с каталогами метаданных ( OpenMetadata, DataHub ) и автоматизацией построения Data Lineage.
• Опыт в банковской или финансовой сфере.
• Опыт разработки сервисов на базе LLM для внутренних инструментов автоматизации работы с данными.

Что мы предлагаем:

• Официальное трудоустройство;
• Полностью удаленный формат работы;
• Команда экспертов, которая поможет подскажет научит и подставит плечо, когда потребуется;
• Возможность решать интересные задачи, качать скиллы и развиваться на базе современных технологий;
• Мы - официальная ИТ компания, есть аккредитация в Минцифры.