Data engineer (удаленная работа)

Вакансия: Data engineer

Описание вакансии

О проекте:

Мы создаём и развиваем платформу данных с распределённой архитектурой в крупном международном финтехе, которая предоставляет пользователям инфраструктуру, данные и экспертизу.
В основе построения платформы данных заложен продуктовый подход (развитие функциональности от потребностей пользователей), который распространяется на платформу и сами данные.
Предполагается работа в сервисной команде, которая отвечает за интеграцию и доставку данных из продуктовой среды в контур платформы, разработку интеграционных сервисов/процессов, а также компонентов и утилит для автоматизации процессов и поддержки работы пользователей платформы.
Многие компоненты платформы мы будем внедрять и разрабатывать с нуля, проект выполняется по гибким методологиям, гео-распределенная команда.

Обязанности:

• Разрабатывать и сопровождать сервисы/компоненты/процессы для потоковой и пакетной выгрузки данных из корпоративных систем в контур платформы данных.
• Взаимодействовать с коллегами DevOps/DBA по настройке окружений, деплоя, работы с инфраструктурой.
• Разрабатывать DQ процессы, средства мониторинга и уведомлений о качестве данных.
• Оперативно решать проблемы с качеством данных, задержками их доставки.
• Реализовывать процессы CI/CD и мониторинга разработанных процессов.
• Взаимодействовать с архитектором данных, командой инфраструктуры, командой разработки продукта, командой DWH.

Требования:

• Продвинутый уровень владение Python от 3 лет
• SQL, умение писать production ready сервисы для деплоя в k8s
• Отличные навыки работы с Kafka и понимание внутреннего устройства
• Опыт применения концепций непрерывной интеграции, доставки (CI/CD)
• Опыт построения пайплайнов потоковой и пакетной выгрузки/обработки данных
• Опыт оптимизации запросов и проектирования схем данных
• Знание концепций OLTP/OLAP, знакомство с современными системами хранения данных (MPP, NoSQL)

Условия:

• Удаленный формат работы
• Конкурентную белую зп
• ДМС со стоматологией для сотрудника и его семьи
• Индивидуальный план развития по итогам регулярных аттестаций, широкие возможности для обучения: собственный учебный центр, скидки на курсы в различных школах, разговорные клубы английского языка
• Гибкие возможности смены проекта
• Занятия английским, скидки от партнеров и прочие дополнтельные плюшки
• Мы являемся аккредитованной ИТ-компанией.