Мы находимся в поиске Ведущего Data engineer'a, который будет заниматься развитием направлений: "Цифровая аналитика", "Антифрод", " Платформа DataLake".
Ваши задачи:
Реализация ETL в Hadoop (с помощью Airflow);
Работа с различными источниками данных: Oracle, MS SQL, API личных кабинетов, микросервисы;
Батч и стримы с помощью PySpark и Kafka;
Подготовка витрин для анализа (Hive + Spark+ SQL);
Наш стек:
Ванильный hadoop;
Kafka;
Spark;
Airflow;
ClickHouse;
Jira ,Confluence;
GitLab;
Мы ждем от будущих коллег:
Уверенное владение Python;
Опыт использования эко-системы Hadoop: HDFS, Apache AirFlow, Hive, Kafka,Spark;
Знание SQL;
Опыт работы с реляционными базами данных (Oracle);
