Инженер больших данных (удаленная работа)

Вакансия: Инженер больших данных

Описание вакансии

Направление работы: Команда Senior MLE, MLIE, DA и backend-разработчиков с продуктовым мышлением.

Стань частью команды!

Вам предстоит:

• Проектировать и сопровождать ETL/ELT пайплайны для построения Feature Store и витрин данных под задачи ML платформы (Airflow, Spark, S3, Iceberg, ClickHouse).

• Настраивать и развивать мониторинг качества данных и качества инференса моделей (data quality, model performance) с системой сбора метрик и алертинга.

• Обеспечивать интеграцию batch и online inference сервисов с клиентскими приложениями и DWH с использованием брокеров сообщений.

• Взаимодействовать с DS и ML инженерами для продакшенизации моделей (от подготовки фич до запуска инференса и переобучения по расписанию).

• Разрабатывать и поддерживать сервисы для оффлайн (batch) инференса и переобучения ML моделей.

Формат работы - гибридный/удаленный по договоренности с руководителем.

Вы нам подходите, если :

• Ваш опыт работы в Data Engineering/MLOps не менее 5 лет;

• Уверенно владеете Python, SQL;

• Понимаете основные DWH концепции: слойность (staging/ODS/DWH/DM), медленно меняющиеся измерения (SCD), звездчатая/снежинка схема, методологии моделирования DWH (Kimball, Data Vault, Anchor Modeling), консолидация и очистка данных;

• Понимаете архитектуру Data Lakehouse и одного из форматов Iceberg / Delta Lake / Hudi;

• Имеете опыт с оркестраторами (Airflow, DagsterKubeflow), системами распределенной обработки данных (Spark, Hadoop, Trino/Presto или аналогами), брокерами сообщений (Kafka, RabbitMQ), MPP-системами (ClickHouse, Greenplum);

• Имеет опыт работы с контейнерами (Docker, Kubernetes), CI/CD, мониторингом (Prometheus, Grafana).

Возможности развития:

• Возможность исследовать новые технологии, делать прототипы и доводить успешные решения до продакшена;

• Возможность участвовать в проектировании единого продуктового Feature Store;

• Возможность получить опыт работы с online inference сервисами;

• Возможность получить практический опыт работы с GenAI в offline и online сценариях.

Стек, с которым мы работаем:

• Apache Airflow, Spark, S3 Minio, Trino, Clickhouse, Jupyter,;

• Kubernetes;

• Kafka;

• HashiCorp Vault;

• GitLab;

• Prometheus/Grafana;

• Ansible / Terraform / Helm;

• ClearML.