Старший специалист направления мониторинга качества моделирования (удаленная работа)

Вакансия: Старший специалист направления мониторинга качества моделирования

Описание вакансии

Обязанности:
Ищем аналитика в проект по созданию цензор-модуля системы автоматической фильтрации нежелательного контента в генерации LLM. Модуль будет интегрирован в ключевые продукты банка от виртуальных помощников до внутренних чат-ботов. Проект только запустился, поэтому будет возможность влиять на ход принятия решений. Зона ответственности контроль качества и стабильности ML-сервисов цензор-модуля, построенных на базе LLM. На начальных этапах упор будет на работу с текстом, в будущем скорее всего придем и к работе с изображениями. Работа на стыке анализа данных, построения мониторинга, общения с разработкой и бизнесом. Ищем человека, который не просто мониторит графики , а понимает, что происходит под капотом у моделей, умеет ставить гипотезы и проверять их на практике, готов копаться в логах, пайплайнах и коде.

Мониторинг систем автоматической генерации текста и изображений с использованием продвинутых подходов в аналитике и мат статистике;
Участие в проектировании и запуске систем контроля качества генерации;
Построение и автоматизация пайплайнов для мониторинга моделей;
Разработка метрик, визуализаций, алертов;
Анализ отклонений, формулирование гипотез, тестирование и обсуждение с разработкой;
Сбор, агрегация и интерпретация логов работы моделей;
Работа в связке с продуктом, DS, разработкой и бизнесом.

Требования:

Опыт в валидации, разработке или мониторинге NLP-моделей;
Уверенное владение Python и SQL;
Опыт работы с BI-инструментами;
Опыт работы с Hadoop/Spark/Hive важно;
Понимание принципов работы LLM: от архитектур до особенностей inference;
Умение формулировать гипотезы и проверять их на данных;
Навыки постановки бизнес-требований, описание процессов.

Будет плюсом:
Опыт в мониторинге ML-моделей;
Участие в разработке или аудите LLM;
Понимание базовых принципов MLOps или построения data-инфраструктуры;
Участие в ML-соревнованиях, Kaggle-контестах, публикации, pet-проекты.

Условия:
Минимум бюрократии фокус на суть;
Работа с живыми LLM в реальных продуктах;
Карьерный рост: пересмотр зарплат раз в год;
Квартальный бонус по результатам работы;
ДМС со стоматологией с первого дня работы + 10 дней полной компенсации больничного;
Стабильную работу в одном из крупнейших банков страны;
Конкурентную заработную плату, соцпакет;
Условия для роста и развития (в т.ч. конференции, тренинги, внутренние программы развития).