Data Engineer (Middle+) (удаленная работа)

Вакансия: Data Engineer (Middle+)

Описание вакансии

Наши партнеры - крупнейшая компания FMCG в поиске Data Engineer в команду Data Management бизнес-сегмента Pet Nutrition .

Цель команды Data Management внедрить процессы управления данными, а также практики и системы, которые позволят всей компании контролировать свои ресурсы в виде данных и управлять ими. Мы отвечаем за работу всего data-pipeline от исходной системы до отчета.

Мы используем современные подходы и технологический стек: Python, SQL, PySpark, Kafka, YCP, Airflow, NiFi, S3, Power BI, Yandex DataLens, Apache SuperSet.

Вы будете:

• Разрабатывать витрины данных;
• Интегрировать новые источники данных в DataLake;
• Обрабатывать потоковые данные (streaming);
• Контролировать качество загружаемых данных;
• Проводить код ревью
• Отвечать за оптимизацию, рефакторинг и поддержку решений

Мы ожидаем:

• Понимание архитектуры spark, hdfs, airflow
• Уверенный опыт оптимизации spark приложений
• Уверенный опыт работы в airflow
• Понимание работы СУБД и принципов построения хранилищ данных;
• Опыт работы с Hadoop (Spark, HDFS, YARN etc.);
• Отличное знание SQL, Python/Scala/Java;
• 1+ опыт работы с облачными платформами Yandex Cloud Platform/ Azure/ AWS;
• Будет плюсом знания Nifi, Kafka, Airflow;
• Английский на уровне intermediate и выше
• Опыт работы с Docker, Kubernetes
• Знание Git

Условия:

• Работа в команде профессионалов в одной из крупнейших FMCG компаний.
• Официальное трудоустройство по ТК.
• Полностью белая заработная плата.
• Удаленная работа.