Вакансия: Data engineer
Описание вакансии
О проекте:
Мы создаём и развиваем платформу данных с распределённой архитектурой в крупном международном финтехе, которая предоставляет пользователям инфраструктуру, данные и экспертизу.
В основе построения платформы данных заложен продуктовый подход (развитие функциональности от потребностей пользователей), который распространяется на платформу и сами данные.
Предполагается работа в сервисной команде, которая отвечает за интеграцию и доставку данных из продуктовой среды в контур платформы, разработку интеграционных сервисов/процессов, а также компонентов и утилит для автоматизации процессов и поддержки работы пользователей платформы.
Многие компоненты платформы мы будем внедрять и разрабатывать с нуля, проект выполняется по гибким методологиям, гео-распределенная команда.
Обязанности:
- Разрабатывать и сопровождать сервисы/компоненты/процессы для потоковой и пакетной выгрузки данных из корпоративных систем в контур платформы данных.
- Взаимодействовать с коллегами DevOps/DBA по настройке окружений, деплоя, работы с инфраструктурой.
- Разрабатывать DQ процессы, средства мониторинга и уведомлений о качестве данных.
- Оперативно решать проблемы с качеством данных, задержками их доставки.
- Реализовывать процессы CI/CD и мониторинга разработанных процессов.
- Взаимодействовать с архитектором данных, командой инфраструктуры, командой разработки продукта, командой DWH.
Требования: - Продвинутый уровень владение Python от 3 лет
- SQL, умение писать production ready сервисы для деплоя в k8s
- Отличные навыки работы с Kafka и понимание внутреннего устройства
- Опыт применения концепций непрерывной интеграции, доставки (CI/CD)
- Опыт построения пайплайнов потоковой и пакетной выгрузки/обработки данных
- Опыт оптимизации запросов и проектирования схем данных
- Знание концепций OLTP/OLAP, знакомство с современными системами хранения данных (MPP, NoSQL)
Условия: - Удаленный формат работы
- Конкурентную белую зп
- ДМС со стоматологией для сотрудника и его семьи
- Индивидуальный план развития по итогам регулярных аттестаций, широкие возможности для обучения: собственный учебный центр, скидки на курсы в различных школах, разговорные клубы английского языка
- Гибкие возможности смены проекта
- Занятия английским, скидки от партнеров и прочие дополнтельные плюшки
- Мы являемся аккредитованной ИТ-компанией.
