Data Engineer (ClickHouse / Airflow / Python) (удаленная работа)

Вакансия: Data Engineer (ClickHouse / Airflow / Python)

Описание вакансии

Приглашаем Data Engineer присоединиться к проекту миграции BI-отчетности с Microsoft Power BI на Yandex DataLens .

Предстоит построить новый контур хранения и обработки данных: организовать загрузку данных из Microsoft SQL Server в ClickHouse, автоматизировать ETL/ELT-процессы, подготовить витрины данных для новой BI-платформы и обеспечить соответствие показателей существующей отчетности.

Если вам интересно строить современные хранилища данных, работать с ClickHouse и участвовать в масштабной миграции BI-платформы будем рады познакомиться.

Чем предстоит заниматься

• Разрабатывать ETL/ELT-процессы для загрузки данных из Microsoft SQL Server в ClickHouse.
• Проектировать и реализовывать многослойное хранилище данных (Raw Core Data Mart).
• Разрабатывать SQL-скрипты для преобразования и подготовки данных.
• Создавать Python-компоненты для интеграции и обработки данных.
• Разрабатывать и сопровождать DAG в Apache Airflow.
• Оптимизировать производительность ClickHouse (структуры таблиц, партиционирование, запросы).
• Настраивать инкрементальные загрузки, обработку ошибок, повторные запуски и мониторинг ETL-процессов.
• Подготавливать витрины данных для построения отчетности в Yandex DataLens.
• Анализировать существующую логику Power BI и участвовать в переносе расчетов на уровень хранилища данных.
• Проводить сверку данных между исходной и новой BI-системами.

Мы ожидаем

• Опыт работы Data Engineer от 4 лет.
• Отличное знание SQL.
• Практический опыт работы с ClickHouse.
• Опыт разработки ETL/ELT-процессов.
• Хорошее знание Python для обработки и интеграции данных.
• Опыт работы с Apache Airflow (разработка DAG, зависимости, мониторинг).
• Опыт работы с Microsoft SQL Server.
• Понимание принципов построения DWH (Raw, Core, Data Mart).
• Опыт реализации инкрементальных загрузок.
• Опыт работы с Git.

Будет плюсом

• Yandex Cloud.
• Yandex Data Transfer.
• Yandex DataLens.
• Power BI.
• Power Query.
• DAX.
• Опыт миграции BI-отчетности.
• Опыт работы с большими объемами данных.

Условия:

• B2B Контракт, ИП.
• Гибкий график
• Корпоративные курсы английского
• 3 оплачиваемых sick day в год
• Профессиональный рост и развитие в сильной команде
• Современный стек и выстроенные процессы
• Долгосрочное сотрудничество