Разработка и внедрение решений AutoML: Создание и оптимизация алгоритмов автоматизации процессов машинного обучения с использованием Scala, Spark и TransmogrifAI.
Интеграция с хранилищами данных: Разработка и поддержка взаимодействия системы с key-value хранилищами данных, S3 (Ozone или MinIO), для эффективного хранения и доступа к данным.
Оптимизация производительности: Обеспечение высокопроизводительной обработки данных, оптимизация существующих решений для работы с большими объемами данных.
Работа с фреймворками ML: Разработка и поддержка пайплайнов машинного обучения, интеграция различных фреймворков и инструментов для повышения качества и скорости обучения моделей.
Валидация и тестирование моделей: Участие в процессе тестирования и валидации моделей, обеспечение высокого уровня их качества и точности.
Поддержка и развитие системы: Поддержка существующего кода, рефакторинг и развитие системы для улучшения функционала и производительности.
Какие знания и навыки для нас важны:
Опыт работы: 3+ года в разработке с использованием языка программирования Scala/Java
Технические навыки:
Глубокие знания и опыт работы с Apache Spark, включая Spark SQL, Spark MLlib и Spark Streaming.
Опыт работы с TransmogrifAI для автоматизации процессов машинного обучения.
Опыт работы с объектными хранилищами данных (Ozone, MinIO).
Понимание основ машинного обучения, опыт работы с фреймворками ML.
Опыт разработки распределенных систем и параллельной обработки данных.
Опыт работы с контейнеризацией (Docker, Kubernetes) будет преимуществом.
Аналитическое мышление: Способность анализировать сложные задачи и разрабатывать оптимальные решения.
Опыт работы с большими данными: Умение работать с большими объемами данных, понимание принципов работы с распределенными системами.
Знание английского языка: Возможность работать с технической документацией и командой на английском языке.
