Data Engineer (удаленная работа)

Вакансия: Data Engineer

Описание вакансии

Привет!

Я Миша, Head DWH в Magnit Tech.

Ищу Дата инженера на проект построение и развитие Хранилища Данных.

Основные задачи - развитие существующего фреймворка загрузки сырьевых данных и построения витрин над ними, развитие Дата Каталога, движка Data Q ua lity.

Наш стэк

1. GreenPlum и ClickHouse как DWH

2. AirFlow как оркестратор задач

3. Python для дагов и операторов в AF

4. Debezium как CDC

5. Yandex Cloud как место работы всех наших сервисов

6. DBT как основа дата каталога и шаблонизатор SQL

Чем предстоит заниматься

В первые три месяца:

• Погрузиться во фреймворки загрузки данных и расчета витрин на основе задач по одному из на прав лений

• Освоиться в предметной области данных

• Проводить code review аналитиков с целью использования ими лучших технических решений и оптимизации производительности

Когда освоишься :

• Создавать новые паттерны загрузки данных и расчета витрин для дальнейшего переиспользования

• Развивать м одел ь данных

• Рефакторить текущие процессы, предлагать лучшие практики работы с данными

• Самостоятельно вес ти проекты, нужные бизнесу. Декомпозировать их до понятных технических задач

Что нужно, чтобы к нам присоединиться

• Знать особенности MPP систем

• Уверенно владеть SQL(Оконные функции, партицирование, агрегации, оптимизация запросов, понимание плана запроса)

• Иметь опыт с Python достат очн ый для разработки операторов в AirFlow(ООП) и написания пайплайнов данных из различных ист очн иков

• Понимать принципы работы AirFlow(Даги, таски,операторы,сенсоры,хуки,контекст)

Будет плюсом

• Опыт в GreenPlum и/или ClickHouse(особенно шардированный)

Что предлагаем:

• очень интересный сложный продукт с большим количеством пользователей

• форма т работы: полная удаленка, при желании гибрид/офис

• высокая заработная плата (обсуждается индивидуально - можно повлиять на сумму оффера)

• оформление в IT-компании, аккредитованной в Министерстве цифрового развития