ML/LLM-инженер: RAG, верифицированная генерация, eval (удаленная работа)

Вакансия: ML/LLM-инженер: RAG, верифицированная генерация, eval

Описание вакансии

Привет. Я Виктор, основатель IntellectDialog (7 лет, 500+ клиентов, резидент Сколково). Собираю senior-команду под грантовый НИОКР: система для стоматологических клиник, которая сама решает, кому, когда и в каком канале написать пациенту, сама записывает в МИС и объясняет каждое своё решение. Внутри байесовские профили, скоринги, решающие правила с доказанными теоремами и генерация, где каждая цифра обязана иметь источник.

Важно: только senior с продовым опытом ровно в том, что написано ниже. Смежный опыт не считается, доучивать некогда сроки грантовые. В сопроводительном обязательно: научные публикации/доклады, если есть (для гранта это влияет на выбор), сколько часов в день готовы уделять, и подтверждение, что ставка 1500 /час вам подходит. Отклик без этих пунктов и без обязательных пунктов из конца вакансии не рассматриваю .

ML/LLM-инженер: RAG, верифицированная генерация, eval

Вы будете делать доверенную часть: классификатор обращений и генерацию, в которой галлюцинация невозможна по построению.

Что конкретно: классификатор обращений ( 20 интентов), пороги по Нейману Пирсону: пропуск острого состояния 1%, и под этим ограничением давим ложные тревоги. Заодно честно сравним компактную LLM против дообученного энкодера это отдельная исследовательская задача с протоколом; контур генерации: vLLM + xgrammar, схема claims каждое утверждение обязано тащить ссылку на источник, обязательность зашита в грамматику декодера; валидатор ответов в пять ступеней, модель-судья (посмотрим Lynx против LettuceDetect); RAG с предфильтрацией по метаданным; для прайсов точный lookup, никакого векторного поиска по ценам; eval как гейты CI: golden-набор, red-team на 200+ провокаций, регрессия из инцидентов.

Кого ищу: того, кто выводил RAG/LLM в прод и может назвать свои цифры hallucination rate был X, стал Y после того-то . Опыт именно с русскоязычными обращениями обязателен.

Кому не писать: если ваш опыт демо на LangChain, промпты без инженерии конвейера или только английский язык. Если не понимаете разницу между попросить модель вернуть JSON и сделать невалидный вывод синтаксически невозможным это маркер, что пока рано.

Стек: Python, vLLM/xgrammar, Postgres + pgvector. Ядро платформы Node.js/React/Postgres.

В отклике обязательно:

1. Кейс с цифрами качества до/после и ваша роль.
2. В 3 5 предложениях: как гарантировать, что модель не назовёт цену, которой нет в источниках.
3. Пройдитесь по списку, напротив каждого пункта работал в проде / знаю поверхностно / не работал . Честно: на созвоне копну в любой пункт: vLLM или SGLang: разворачивали сами или пользовались чужим сервингом; constrained decoding: xgrammar / Outlines / guided json что именно и для каких схем; эмбеддинги и реранкинг: BGE-M3 или аналоги, гибридный поиск dense+sparse; детекторы галлюцинаций / модели-судьи: Lynx, LettuceDetect, свои LLM-as-judge; eval-фреймворки: Promptfoo, DeepEval, Ragas что гоняли в CI, а не разово; guardrails: NeMo Guardrails, LLM Guard, свои сканеры инъекций; дообучение классификаторов: SetFit / полный файнтюн энкодеров; pgvector или другой векторный движок в проде.
4. Отдельным абзацем: что в вашем продовом LLM-проекте вы строили с нуля сами (конвейер, валидатор, eval-инфраструктура, схема данных), а что собрали из готовых кусков. И то и другое нормально мне важно понять ваш реальный вклад.
5. GitHub, статьи, доклады.
6. Научные достижения, если есть списком.
7. Доступность: сколько часов в день готовы уделять, с какой даты и подтверждение, что ставка 1500 /час по факту отработанного вам ок. Без этого подтверждения созвон не назначаю, чтобы не тратить время обеих сторон.

Условия: удалёнка, от 4 часов в день, 1500 /час по факту, самозанятость/ИП/ГПХ, 12 18 месяцев. Для ключевых участников по итогам успешной реализации опцион на долю в компании (условия индивидуально, после первых месяцев работы). Это НИОКР с публикациями и РИД 50+ клиник-клиентов ждут пилотов, результат уйдёт в прод. Если есть научные публикации, доклады, участие в НИОКР приложите список, для гранта это важно и влияет на выбор.