Вакансия: Big Data Engineer (Data Management Platform)
Описание вакансии
Мы в поиске Middle Big Data Engineer в направление дата инжиниринга , который будет участвовать в разработке проекта DMP.
Data Management Platform ( Профиль пользователя ) внутренний дата-продукт д епартамента развития рекламной платформы , который ставит цель повысить персонализацию рекламы Lamoda и увеличить потенциал анализа целевой аудитории.
Чем предстоит заниматься :
- Разрабатывать ETL пайплайны для построения пользовательских сегментов на Airflow для Spark, Streaming, Hive, Trino etl;
- Оптимизировать запросы и управлять хранением данных в ClickHouse для обеспечения высокой производительности;
- Строить онлайн сегментацию на основе realtime данных Clickstream;
- Создавать стабильные отказоустойчивые и масштабируемые аналитические сервисы;
- Внедрять процесс мониторинга данных и Data Quality;
- Взаимодействовать с продуктовыми и системными аналитиками, оптимизировать сложные SQL запросы, формировать культуру работы с данными;
- Анализировать и внедрять инструменты инжиниринга данных.
Мы ожидаем:
- Опыт работы со стеком Hadoop (YARN, HDFS, HBase, Hive);
- Опыт работы в Spark;
- Опыт работы с Airflow;
- Опыт работы с одним из языков программирования (Python, Scala, Java);
- Опыт написания юнит/интеграционных тестов;
- Хорошее понимание СУБД, SQL;
- Страсть к инженерным наукам и информатике вокруг данных.
Будет плюсом:
- Опыт сбора и обработки требований;
- Опыт работы с Docker.
