Data Engineer, Факторы ранжирования (удаленная работа)

Вакансия: Data Engineer, Факторы ранжирования

Описание вакансии

Группа Факторов ранжирования отвечает за весь процесс разработки и внедрения факторов, использующихся в ML-моделях ранжирования в поиске и каталоге: от первичного анализа данных до организации хранения и реализации расчета факторов в поисковом runtime. На текущий момент в группу входят ML-инженеры и разработчики, мы ищем DE, который сможет взять на себя задачи, связанные непосредственно с обработкой данных.

Наш стек: Python, Hadoop, (Py)spark, Clickhouse, Vertica, Airflow, Mlfow, Pytorch, Catboost, Java.

Вам предстоит:

• Разрабатывать пайплайны обработки данных для реализации новых и поддержки существующих факторов ранжирования в поиске и каталоге.
• Реализовать мониторинги для регулярной оценки качества исходных данных, рассчитанных агрегатов и факторов.
• Настраивать загрузку агрегатов и факторов в feature store и поисковый индекс.

Примеры задач:

• Организация расчетов данных для различных видов факторов ранжирования: под нужды отдельных товарных категорий (одежда, продукты с express-доставкой и др.), с учетом локации пользователя (город, регион, кластер), для достижения различных бизнес-целей компании (снижение сроков доставки заказанных из поиска товаров, достижение более конкурентной цены товаров в поисковой выдаче и др).
• Организация процесса мониторинга и настройка метрик для отдельных факторов и для итоговых скоров моделей ранжирования.
• Оптимизация хранения и процесса расчета факторов за счет разделения на расчет подневных агрегатов в hadoop и вычисления конечных факторов по агрегатам в поисковом runtime.

Мы ожидаем:

• Уверенное знание hadoop-стека, опыт работы с большими данными
• Опыт разработки ETL-пайплайнов
• Сильный python
• Знание базовой математики для понимания основ ML

Как плюс:

• Опыт работы с высоконагруженными системами
• Опыт разработки на Java
• Опыт в классическом ML/NLP/рекомендательных системах