Data Engineer (удаленная работа)
(вакансия не опубликована)

Вакансия: Data Engineer

Описание вакансии

Обязанности:

• Анализ алгоритмов расчета показателей
• Исследование источников данных, настройка интеграций
• Проектирование витрин данных и детального слоя
• Разработка алгоритмов преобразования данных и расчета метрик (GreenPlum, Airflow)
• Тестирование разработанного функционала
• Выявление проблемных участков обработки данных и их оптимизация
• Исследование перспектив развития продукта и формирование предложений по улучшениям

Требования:

• Опыт работы с Apache Airflow в корпоративной среде
• Опыт самостоятельной разработки ETL/ELT процессов на основании бизнес-требований
• Опыт работы с СУБД GreenPlum/Postgre/Oracle/MS SQL
• Навыки работы с DBT (Data Build Tool)
• Понимание принципов построения и работы с потоковыми данными (Kafka, Spark Streaming)
• Опыт работы с Kafka: развертывание (желательно), настройка/оптимизация/масштабирование (обязательно)