Big Data Engineer (Data Management Platform) (удаленная работа)

15 марта 2025

Уровень зарплаты:
з.п. не указана
Требуемый опыт работы:
Не указан

Вакансия: Big Data Engineer (Data Management Platform)

Описание вакансии

Мы в поиске Middle Big Data Engineer в направление дата инжиниринга , который будет участвовать в разработке проекта DMP.

Data Management Platform ( Профиль пользователя ) внутренний дата-продукт д епартамента развития рекламной платформы , который ставит цель повысить персонализацию рекламы Lamoda и увеличить потенциал анализа целевой аудитории.

Чем предстоит заниматься :

  • Разрабатывать ETL пайплайны для построения пользовательских сегментов на Airflow для Spark, Streaming, Hive, Trino etl;
  • Оптимизировать запросы и управлять хранением данных в ClickHouse для обеспечения высокой производительности;
  • Строить онлайн сегментацию на основе realtime данных Clickstream;
  • Создавать стабильные отказоустойчивые и масштабируемые аналитические сервисы;
  • Внедрять процесс мониторинга данных и Data Quality;
  • Взаимодействовать с продуктовыми и системными аналитиками, оптимизировать сложные SQL запросы, формировать культуру работы с данными;
  • Анализировать и внедрять инструменты инжиниринга данных.

Мы ожидаем:

  • Опыт работы со стеком Hadoop (YARN, HDFS, HBase, Hive);
  • Опыт работы в Spark;
  • Опыт работы с Airflow;
  • Опыт работы с одним из языков программирования (Python, Scala, Java);
  • Опыт написания юнит/интеграционных тестов;
  • Хорошее понимание СУБД, SQL;
  • Страсть к инженерным наукам и информатике вокруг данных.

Будет плюсом:

  • Опыт сбора и обработки требований;
  • Опыт работы с Docker.


Посмотрите похожие вакансии

QA Engineer (Middle - Senior)
Компания: SQA Solution
Зарплата: от 100 000 до 150 000 руб.