Data Engineer (Разработчик Hadoop/Spark) (удаленная работа)

Вакансия: Data Engineer (Разработчик Hadoop/Spark)

Описание вакансии

Стек технологий: Hadoop (HDFS, Hive, YARN, Spark, Kafka), интеграции с БД Oracle, SAP Hana, Clickhouse, Postgres, MySQL, оркестрация Airflow,ETL Spark, Python/Scala, SAP DS, облачные технологии YandexCloud.

Задачи:

проектирование и разработка витрин данных;

мониторинг, поддержка, оптимизация ETL-процессов;

интеграция данных из различных источников (преимущественно batch-загрузки из SQL баз данных);

поддержка команды и пользователей по вопросам эффективной работы с данными.

Навыки:

уверенные знания SQL;

знание Python;

понимание принципов организации хранилищ данных, ETL/ELT, форматов хранения данных;

уверенный опыт работы с Hadoop, Spark, Airflow.

Условия:

Полностью официальное трудоустройство;

Высокий конкурентный оклад;

Карьерное развитие внутри команды-профессионалов;

ДМС;

Современное корпоративное оборудование;

Гибкий режим работы (удаленный график, при желании есть возможность приезжать в офис).