Senior Data Engineer в Core команду Лояльности (удаленная работа)

Вакансия: Senior Data Engineer в Core команду Лояльности

Описание вакансии

Core Портал продавцов это юнит со всеми продуктами WB для продавцов. Здесь есть личный кабинет, загрузка и хранение контента, интеграция с поиском и каталогом, баланс продавца, отгрузка товаров и доставка до покупателя, аналитика и многое другое. Это 1/4 всего бизнеса WB. В сервисе более 1 млн. поставщиков, ежедневный оборот - 5 млрд. рублей.

Вам предстоит:

• Участвовать в разработке data-transfer инструмента, который позволит автоматизировать процесс перегрузки данных с различных источников;
• Формировать хранилище данных на HDFS и ClickHouse;
• Дорабатывать и оптимизировать существующие, а также писать новые Airflow-операторы;
• Оптимизировать интеграции со стриминговыми источниками данных (Kafka);
• Формировать витрины для аналитики и поставлять их в BI-инструмент.

Формат работы удаленный формат.

Вы нам подойдете, если:

• Имеете уверенный опыт программирования на Python (от 5 лет);
• Имеете опыт работы с Java/Scala (Flink огромным плюсом);
• Имеете опыт с hadoop (spark/yarn/hdfs/hive), с apache Airflow / Dagster и со Spark (Pyspark);
• Имеете опыт в оптимизации SQL запросов (индексы, партицирование, шардирование и тд);
• Имеете опыт работы с MPP СУБД (ClickHouse/GreenPlum/Vertica).