Senior Data Engineer (удаленная работа)

Вакансия: Senior Data Engineer

Описание вакансии

Мы - аккредитованная продуктовая IT-компания.

Мы создатели уникальной мультиподписки Газпром Бонус, gazprombonus.ru

На данный момент в подписку входят предложения более 45 партнёров, включая OZON, Premier, Лента, Газпромбанк, VK, Инвитро и др.

Для реализации RoadMap приглашаем в команду Дата инженера Senior

Обязанности:

• Проектировать и разрабатывать ETL-процессы для batch и streaming загрузки данных
• Участвовать в проектировании DWH слоев и озера данных (data lake)
• Выстраивать систему автоматической кодогенерации для сборки данных на детальном слое согласно модели Data Vault
• Разрабатывать средства мониторинга и проверки качества данных
• Автоматизация процессов построения моделей и витрин данных
• Оптимизация существующих процессов обработки и преобразования данных

Требования:

• Понимание концепции хранилищ данных (DWH, Data Lake): модели данных, слои, витрины, агрегаты, Data Quality, полная-инкрементальная загрузка
• Опыт работы с PostgreSQL, GreenPlum
• Понимание принципов работы БД: оптимизация запросов, планы выполнения, индексы, join
• Опыт продуктовой разработки Python, PySpark и Scala от года
• Опыт написания data pipelines, batch, streaming jobs
• Опыт работы с Kafka/Spark/Airflow/NiFi

Условия:

• Компания в реестре аккредитованных ИТ компаний Минцифры со всеми преференциями от государства, включая освобождение от мобилизации
• Работа в проекте с современным стеком
• Белая заработная плата + годовые бонусы до 30% к годовому доходу
• График работы 5/2 с 10:00 до 19:00
• Формат работы удаленно
• Любая форма трудоустройства в рамках законодательства
• Расширенная программа ДМС
• Компенсация больничных до 100%