Проектирование и разработка конвейеров ETL для извлечения данных из различных источников, преобразования их в согласованный формат и загрузки в хранилище данных.
Оптимизация производительности конвейеров ETL для обеспечения своевременной доставки данных.
Мониторинг конвейеров ETL и устранение неполадок для обеспечения бесперебойной работы.
Управление данными в хранилище данных, включая очистку, преобразование и управление качеством данных.
Требования:
Не менее 1-года на похожей позиции.
Желательный опыт: не менее 3-х лет
Степень бакалавра или магистра в области компьютерных наук, информационных систем или смежной области.
Сильные навыки программирования на языках SQL, Python и Java
Знание технологий ETL/ELT
Знание и практические опыт Apache Spark, Apache Airflow и Apache Kafka
Опыт работы с большими данными
Знание методологий проектирования баз данных data vault, anchor modeling, 2-3NF
Опыт в использовании технологии Debezium или других инструментов для change data capture (CDC), с целью обеспечения реального времени обработки данных
Дополнительные желательные требования:
Знание облачных технологий
Сертификация в области разработки ETL или управления данными
Знание методов машинного обучения и искусственного интеллекта (ИИ)
Условия:
Формат работы: удаленный/гибрид / офис в Москве (м. Улица 1905 года)/Нижнем Новгороде;
Полис ДМС;
Возможность профессионального развития и карьерного роста, профессиональная команда.
Уровень вознаграждения обсуждается индивидуально с успешным кандидатом.
