Исследователь больших данных (Big Data) (удаленная работа)

Вакансия: Исследователь больших данных (Big Data)

Описание вакансии

Привет! Наша команда DS является частью ведущего продуктового ритейлера Лента . Направление DS состоит из нескольких стримов: прогнозирование спроса, оптимизация ассортимента, управление промо, динамическое ценообразование, A/B тестирование, Geo аналитика, ad-hoc запросы.

Сейчас мы в поисках Middle DS в направление прогнозирование спроса и динамического ценообразования.

Немного о команде:

- занимаемся моделями спроса и динамическим ценообразованием;

- работаем с действительно большими данными (чеки);

- активно взаимодействуем с командами АБ и MLE;

- внутри команды развиваем навыки по направлению DS и MLE;

- сами генерим идеи для улучшения наших решений и доводим их до продуктива;

- стараемся придерживаться методологий ModelOPS - модели не заканчиваются в ноутбуках;

- работаем по Scrum.

Какие задачи предлагаем:

- прогнозирование спроса для core продуктов Ленты;

- усиление текущих наработок команды;

- участие в новых инициативах, доведение MVP до пилотов;

- разработка пайплайнов продакшн кода на PySpark и Python, включая проектирование и разработку архитектуры решения для масштабирования;

- формирование adHoc аналитики для заказчиков при необходимости.

Наш идеальный кандидат:

- считает, что ML не цель, а средство решения задачи;

- понимает, как обученную ML-модель довести по продуктива;

- имеет широкое представление о разных методах и алгоритмах по обработке данных /моделированию;

- способен декомпозировать и оценить задачу;

- одинаково хорошо обучает модели в ноутбуках и упаковывает их в рабочие сервисы.

Наш стэк:

- разработка: Spark в k8s, Jupyterhub или VS Code, Gitlab, MLFlow, Postgres;

- регламентация: Airflow;

- управление проектами: Яндекс Трекер.

Что нужно знать/уметь:

- Python;

- Spark (pyspark);

- Airflow;

- MLFlow;

- Теорию вероятности и матстат, ML-методы.

Что предлагаем:

- работу в IT-компании, аккредитованной в Министерстве цифрового развития;

- Формат работы: удаленка, при желании - офис;

- годовое премирование на основании результатов работы;

- ДМС со стоматологией;

- рабочий день с 9:30 до 18:00 (МСК).