Data engineer (middle/senior) (удаленная работа)

Вакансия: Data engineer (middle/senior)

Описание вакансии

Технократия цифровизирует бизнес: от небольших компаний до крупных корпораций. СИБУР Диджитал, Камаз Digital, Татнефть, Университет Иннополис наши клиенты. А ещё внутренние продукты, которые мы выводим на рынок.

У нас прозрачные процессы, понятная система грейдов и прогнозируемый рост, культура наставничества, возможность влиять на проекты и быть услышанным.

Ищем DE инженера в новое направление от мидла (есть удаленка), но если ты senior - будет вообще пушка, потому что, возможно, ты сможешь стать лидом нового направления).

Чем предстоит заниматься:

• Мониторинг, поддержка, оптимизация ETL-процессов;

• Интеграция данных из различных источников (преимущественно batch-загрузки из SQL баз данных)

• Разработка коннекторов из внешних систем, включая SAP-системы (ERP, BW, MKT) к Hadoop

• Разработка интеграций в SAP Data Services

• Написание и постановка на расписание заданий для расчета витрин данных

• Создание расчетов для новых витрин данных

• Разработка новых и оптимизация существующих загрузок/выгрузок из Hadoop и ЯО

Наши ожидания:

• Опыт работы от 2 лет

• Глубокое знание экосистемы Hadoop, включая HDFS, MapReduce, YARN, Hive, Spark и других компонентов (Airflow)

• Опыт работы с инструментами для обработки и анализа больших данных, такими как Apache Kafka и другими

• Понимание основ работы с NoSQL и реляционными базами данных, знание SQL

• Глубокие знания Python

• Опыт разработки в Grafana будет преимуществом

Будет плюсом:

• Знание английского языка;
• Опыт работы с библиотеками для анализа данных, такими как Pandas и NumPy;
• Опыт работы с NoSQL (MongoDB, Clickhouse);
• Понимание принципов контейнеризации и умение работать с Docker.

Стек технологий :

Hadoop (HDFS, Hive, YARN, Spark, Kafka), БД Oracle, SAP Hana, Clickhouse, Postgres, MySQL, Airflow, ETL Spark, Python/Scala, SAP DS