Middle Data Engineer в Локализацию (команда Рекомендаций) (удаленная работа)

Вакансия: Middle Data Engineer в Локализацию (команда Рекомендаций)

Описание вакансии

Команда строит платформу данных для ML-специалистов и продуктовых аналитиков отдела рекомендательных систем. Закрывает полный цикл: от забора данных до развития хранилищ.
Ищем инженера, который будет строить платформу вместе с нами - не просто перекладывать данные между базами! Наш стек: Greenplum, Hadoop/HDFS, Iceberg, Trino, Airflow,Apache Kafka, Spark, ClickHouse.
Вам предстоит:

• Помогать проектировать и строить хранилища данных на Iceberg (спроектировать и реализовать озёрное хранилище вокруг Apache Iceberg, используя Spark/Trino в качестве compute-движков, с расчётом на объёмы данных в сотни ТБ);
• Заниматься настройкой процессов обеспечения качества данных (DQ) (внедрить и настроить DQ-процессы (валидация, мониторинг, метрики качества) на данных в хранилище);
• Внедрять автоматическую генерацию и сопровождение метаданных/описаний данных (data discovery, data catalog, профилирование);
• Проектировать и разворачивать feature store для подготовки и управления признаками на стороне платформы;
• Участвовать в создании семантического слоя для унификации бизнес-логики и метрик поверх данных.

Формат работы удаленный формат.

Вы нам подойдете, если:

• Уверенно владеете Python в контексте DE (2+ года);
• Имеете глубокие знания SQL (оконные функции, оптимизация запросов, explain-планы);
• Имеете опыт работы с оркестраторами данных (у нас Airflow);
• Имеете опыт с Hadoop (Spark / YARN / HDFS);
• Имеете опыт с MPP-системами (Greenplum).