Data Engineer (удаленная работа)

Вакансия: Data Engineer

Описание вакансии

Команда ДВХ Мобильный Банк команда дата инженеров, которая работает с большими объемами данных двух ключевых продуктов: Мобильного Банка и социальной сети Пульс. Наша задача обеспечивать быструю и надежную обработку данных, чтобы пользователи могли пользоваться нашим продуктом без задержек и сбоев.

Помимо витрин мы развиваем Платформу АБ тестирования и Feauture Store. Описываемая вакансия относится к этим продуктам. Дата инженер будет заниматься рефакторингом расчета экосистемных метрик и делать их надежными и прозрачными для аналитиков.

Требования:

• Умение работать с данными (SQL)
• Знание принципов построения DWH и стандартов архитектуры
• Знание архитектуры Greenplum, Spark, умение оптимизировать запросы в этих системах
• Умение работать с ETL инструментами Apache Airflow, Apache NiFi, Apache Flink
• Аналитическое мышление
• Системный подход

Обязанности:

• Проектирование и разработка batch и streaming процессов преобразования данных (ETL) для хранилища данных с использованием инструментов AirFlow, NiFi, Flink;
• Написание скриптов на SQL, Python;
• Работа с большими объемами данных; проектирование потоков данных;
• Работа с различными базами и платформами данных: Greenplum, HBase, Clickhouse, Spark;
• Практическое применение методологий и навыков оптимизации решений Data Warehouse, Data LakeHouse.