Вакансия: Ведущий разработчик Python, ML платформа
Описание вакансии
Наша команда разрабатывает внутренние продукты и процессы, призванные облегчать жизнь Data - , ML специалистов компании на всех этапах разработки продуктов - от RnD до выкатки проекта в прод. Нашими продуктами пользуется 100+ инженеров из 14+ команд. Мы ищем талантливого Python разработчика, который готов присоединиться к нашей команде для усовершенствования ML инфраструктуры Ozon.
Наш стек:
- У нашей команды есть Python пакет, который является единой точкой входа в множество backend сервисов.
- Оркестрирование ETL, ELT в компании делается на Airflow. Мы предоставляем операторы-клиенты на Python для работы с нашими сервисами.
- Основная часть backend сервисов реализована на go.
- Hadoop, Yarn, Spark, Hive - мы делаем сервис и пакет-прослойку, который одной из своих частей живет в Spark мире и часть функционала написана на pySpark.
- Отлаженный командами SRE и RE Gitlab CI позволяющий проводить деплой сервисов по кнопке.
- Kubernetes, Prometheus, Vault.
- PostgreSQL, Redis.
- Выделение ресурсов по кнопке - базы, redis-ы, s3 бакеты.
Вам предстоит:
- Создавать с нуля (или почти с нуля) новые продукты для ML инфраструктуры OZON, например:
- Создание и интеграция в существующий функционал клиента для сервиса по хранению и версионированию датасетов - Dataflow.
- Развитие публичного CLI по взаимодействию с сервисами ML Infra.
- Инструментировать процесс обучения моделей: снимаем метрики, профили, ускоряем обучение моделей.
- Поддерживать, улучшать и никогда не ломать уже существующие пакеты и сервисы.
- Тесно сотрудничать с DS и аналитиками, чтобы лучше понимать требования в задачах и разрабатывать качественные решения.
- Менторство коллег, изучение лучших практик, проводить код ревью.
Мы ожидаем:
- Опыт коммерческой разработки на Python, понимание тонкостей языка.
- Понимание, как работает Kubernetes и принципы проектирования микросервисной архитектуры.
- Умение писать чистый, тестируемый код.
- Знание алгоритмов и базовых структур данных.
- Умение проектировать и разрабатывать различные API (REST и GRPC).
- Опыт работы с реляционными и NoSQL БД, знание SQL.
- Опыт работы c Git.
- Желание построить и качественную ML инфраструктуру и развивать ее.
Будет плюсом:
- Опыт работы с ML и понимание mlops-практик.
- Владение ЯП Go.
- Опыт в проектировании и разработке пользовательских Python-пакетов.
- Понимание принципов работы hadoop экосистемы.
Мы предлагаем:
- В первую очередь интересные задачи.
- Динамичный и быстроразвивающийся бизнес, ресурсы, возможность сделать вместе лучший продукт на рынке e-commerce.
- Свободу действий в принятии решений.
- Достойный уровень заработной платы.
- Профессиональную команду, которой мы гордимся.
- Возможность развиваться вместе с нашим бизнесом.
