Lead Data Engineer (удаленная работа)

Вакансия: Lead Data Engineer

Описание вакансии

Команда DWH отвечает за формирование основных аналитических витрин компании. Цель команды DWH: предоставлять качественные, своевременные данные по основным бизнес-процессам компании в удобном для аналитики виде. За платформу данных и подключение источников к озеру данных отвечает отдельная платформенная команда. Текущий стек команды: Hadoop, Spark, Airflow, ClickHouse, SODA (DQ). В команде DWH развиты инженерные практики: автотесты, кодревью, CI/CD, data quality проверки.

Чем предстоит заниматься:

• Оптимизация производительности сложных процессов загрузки данных (Spark);
• Развитие используемых в команде практик и подходов (доработки CI/CD, мониторингов, внутренних библиотек)
• Разработка NRT пайплайнов (Kafka, Spark Structured Streaming, CH);
• Разработка витрин данных (Spark);
• Менторинг разработчиков и контроль за соблюдением стандартов.

Мы ожидаем от Вас:

• Опыт работы со Spark и глубокое понимание его устройства;
• Опыт работы с Python или Java от 3-х лет;
• Опыт написания дата пайплайнов, опыт работы с Airflow;
• Опыт работы c ClickHouse;
• Понимание подходов к организации разработки (CI/CD, DevOps)

Будет плюсом:

• Опыт разработки потоковой обработки данных;
• Опыт работы с форматом iceberg;
• Опыт управления небольшой командой.

Условия:

• Достойную твоего профессионального уровня зарплату
• Гибкий график работы, есть возможность удобно планировать рабочее и личное время
• Расширенную ДМС программу со стоматологией
• Интересные задачи на большом проекте с продвинутыми технологиями и многомиллионной аудиторией
• Поучаствовать в развитии одного из самых узнаваемых брендов
• Возможность работать удаленно.