Data engineer (Python, Hadoop, Spark) (удаленная работа)

Вакансия: Data engineer (Python, Hadoop, Spark)

X5 Group - лидер офлайн- и онлайн-рынка продуктов питания. Мы управляем портфелем брендов сетевых магазинов «Пятёрочка», «Перекрёсток», «Карусель», «Чижик», цифровыми бизнесами «Перекрёсток Впрок», «Около», 5Post, а также собственными службами логистики, прямого импорта и рядом цифровых сервисов для партнёров.

Х5 Технологии — это отдельная бизнес-единица Х5 Group, которая отвечает за создание комплексных цифровых решений для бизнес-единиц Х5.

Наша команда — это 3000+ специалистов по информационным технологиям и большим данным. Мы разрабатываем решения, которые помогают десяткам миллионов людей. Ищем data engineer.

«Прогнозирование спроса»: модели машинного обучения и алгоритмы, на основе данных по чекам и остаткам предупреждают сотрудников магазинов о том, что надо проверить/положить товар на полки. Продукт прошел стадию пилот (600 магазинов) и теперь дорабатывается и масштабируется на 15+ тыс. магазинов. Команда: ≈10 человек

Стек: Python 3.6-3.9., Fastapi, Hadoop, PySpark + Airflow. PostgreSQL, Kafka. Docker, K8s, GitLab.

Основные задачи (детальнее расскажем на собеседовании):

• Написание пайплайнов по работе с данными с использованием Airflow, Spark (пример: регулярный расчет фичей для модели, построение витрин с данными. их обновление, расчет метрик качества данных для мониторинга)


• Оптимизация расчета фичей для модели для выдерживания SLA при масштабировании продукта под большее количество магазинов


• Настройка мониторинга и алертинга качества данных и фичей с использованием Zabbix, Grafana


• Написание unit тестов (pytest), тестов для различных участков ML пайплайна, участие в код ревью

Мы сможем рассмотреть на вакансию кандидатов, у которых есть:

• Опыт с Hadoop, Hive, Spark


• Опыт работы с Python от 2 лет


• Знание SQL (чтобы писать и оптимизировать запросы)


• Знание классических алгоритмов и структур данных


• Опыт работы с docker (kubernetes, pyspark, airflow и ds фреймворков python– не обязательно, но будет плюсом)


• Умение пользоваться git'ом и работать в команде