Вакансия: ML Engineer
Описание вакансии
Мы Международная IT компания , имеющая аккредитацию в Сколково. Наши продукты - это мобильные приложения высокотехнологической нагруженности в сегменте онлайн-платформ, способствующих общению, созданию контента и установлению связей между людьми по всему миру.
В компании открыта вакансия активного и опытного ML Engineer
Требования:
- Опыт работы с высоконагруженными системами;
- Опыт построения стриминговых процессингов данных (pyspark);
- Опыт построения различных систем, связанных с ML/DS: чем разностороннее опыт, тем лучше;
- Умение строить и проверять статистические гипотезы, проводить AB-тесты;
- Умение писать production код (python 3.9+);
- Готовность погружаться в различные питон-сервисы для обработки данных;
- Опыт оптимизации и внедрения моделей в production;
- Понимание классических алгоритмов и структур данных;
- Самостоятельность и умение работать без ТЗ;
Будет плюсом:
- Опыт работы с нейросетевыми моделями для классификации и кластеризации изображений, видео, аудио и текстов (PyTorch);
- Опыт работы с инструментами AWS;
- Знание SQL;
- Опыт работы с ClickHouse;
- Знания в области system design;
Задачи:
- Сбор и подготовка данных для обучения моделей. Нужно будет из сырых данных пользовательского взаимодействия с контентом выгружать и формировать данные в нужном для обучения формате. Данные о user-item взаимодействии хранятся в ClickHouse.
- Разработка и поддержка питон-сервисов, необходимых для корректной работы ленты рекомендаций.
- Кластеризация и классификация видео, аудио, текстового контента. Разработка аудио, видео, текстовых эмбеддеров.
- Разработка высоконагруженной рекомендательной системы для видео ленты. Нужно будет реализованные модели внедрить в продакшн: сервисы, которые занимаются обучением, и сервисы, которые занимаю инференсом.
- Разработка собственной платформы для анализа АБ-тестов.
- Разработка и тестирование алгоритмов рекомендаций. Надо будет читать статьи, изучать SOTA подходы к рекомендательным системам, тестировать разные алгоритмы. Масштабироваться в продакшене.
Технологии:
- Пишем сервисы на python, go.
- Все крутится в AWS. Легкие сервисы разворачиваем в k8s-кластере, ML сервисы в AWS Sagemaker. Раскатываем через Gitlab CI. Используем линтеры.
- Пользовательские события отправляются сервисами на бэкенде в kafka. Для аналитики из кафки мы собираем все в ClickHouse, используя движок kafka в самом CH. Любое изменение схемы в БД версионируем через миграции. События из кафки вычитываем, аггрегируем и складываем в Redis (Используем Redis Stack, selfhosted).
- Для тестирования моделей используем jupyter notebook managed в sagemaker можем поднять любой инстанс по требованию с нужными ресурсами (GPU, CPU, RAM).
- Мониторинг с помощью: prometheus, grafana, sentry, kibana.
- Продуктовые метрики и дашборды строим в Datalens.
Что мы готовы предложить:
- Опционная программа. У нас ты сможешь заработать миллионы $, а не просто получать Burn rate. Твои активы будут увеличиваться пропорционально капитализации компании. На что безусловно, ты сможешь повлиять с помощью продвижения продукта;
- Заработная плата в валюте, которая растет вместе с твоими достижениями;
- Удаленная работа и возможность релокации;
- Высокопрофессиональная команда, у которой есть чему учиться;
- Корпоративная техника, отвечающая твоим запросам;
- Регулярные неформальные встречи и драйвовые корпоративы.
