Инженер LLM / AI (удаленная работа)

Вакансия: Инженер LLM / AI

Описание вакансии

Мы создаем продукт Coherent промышленная мультиагентная AI-платформа управления надёжностью технологического оборудования (Reliability Intelligence Suite). Ключевой результат работы платформы автоматически формируемые технические карты (техкарты) обслуживания оборудования, где каждый из атрибутов прослеживается до проверяемого источника: паспорта оборудования, пункта нормативного документа (ГОСТ), записи в справочниках НСИ.

Чем нужно заниматься:

• Реализовывать и развивать многоагентный пайплайн генерации техкарт (LangGraph): проектирование агентов, их взаимодействия, состояний и переходов.
• Проектировать и улучшать слой поиска (retrieval) внутри агентов: стратегии разбиения технических документов на фрагменты (chunking), гибридный поиск (dense + BM25), переранжирование результатов (reranker), классификация входящих документов на нулевом шаге пайплайна.
• Реализовывать логику извлечения фактов, их верификации против первоисточников и разрешения конфликтов между расходящимися источниками (паспорт, ГОСТ, НСИ).
• Обеспечивать прослеживаемость (provenance) каждого факта до конкретного источника как ключевое качество продукта.
• Разрабатывать и поддерживать инженерию промптов и структуру агентов, включая проверочные (verifier) агенты.
• Настраивать каскадный поиск по верифицированным внешним нормативным источникам.
• Строить и поддерживать процесс оценки качества пайплайна: метрики поиска (recall@k, NDCG) и метрики качества генерации, работа с эталонным (eval) датасетом.
• Внедрять и использовать трейсинг и наблюдаемость пайплайна (Langfuse, OpenTelemetry) для диагностики и итеративного улучшения качества.
• Обеспечивать провайдер-независимость языкового слоя: возможность работы как через облачный API, так и на self-hosted open-source моделях в закрытом контуре.
• Участвовать в написании технических спецификаций (API-контракты, JSON-схемы, промпты агентов) и техническом ревью в своей зоне.
• Совместно с аналитиком и экспертами формировать требования к эталонному датасету и участвовать в его подготовке.

Что нам важно видеть в кандидате:

• Опыт в разработке ML / AI / NLP-систем в продакшне от 3 лет.
• Уверенный Python; опыт построения сервисов и пайплайнов обработки данных и документов.
• Подтверждённый опыт построения RAG-систем: стек retriever reranker generator, повышение точности и устойчивости поиска.
• Опыт работы с векторными базами данных (Milvus, FAISS, Chroma, pgvector) и с гибридным поиском (dense + разреженный / BM25).
• Опыт построения агентных LLM-систем и оркестрации (LangGraph или аналоги); работа с tool-use / function calling.
• Опыт работы с обработкой больших корпусов технической документации: разбиение на фрагменты, извлечение структуры (таблицы, разделы, ссылки).
• Опыт построения процессов оценки качества RAG и генерации и интерпретации метрик для итеративного улучшения системы.
• Глубокое понимание архитектуры RAG и того, как повышать качество каждого её звена (retrieval, reranking, генерация).
• Владение метриками поиска и ранжирования (recall@k, precision, MRR, MAP, NDCG) и метриками качества генерации (в т.ч. подходы LLM-as-a-Judge, проверка фактической согласованности).
• Инженерия промптов и проектирование проверочных (verifier) агентов.
• Понимание того, как строить измеримое качество: роль эталонного датасета, регрессионное тестирование качества, трейсинг пайплайна.
• Умение работать с разнородной, слабоструктурированной технической и нормативной документацией.
• Инженерная дисциплина: спецификации, ревью, воспроизводимость, работа в трекере задач.

Будет плюсом:

• Опыт развёртывания и обслуживания self-hosted open-source LLM (vLLM, TGI и т. п.) для закрытого контура это инфраструктура инференса, не обучение.
• Опыт с трекерами экспериментов и наблюдаемости (Langfuse, MLflow, Weights & Biases).
• Опыт работы с технической или нормативной документацией промышленной тематики (ГОСТ, эксплуатационная документация, паспорта оборудования).
• Интерес к data-centric подходу улучшению качества за счёт данных и разметки, а не за счёт обучения моделей.
• Опыт с графовыми БД (Neo4j) и построением связей между сущностями.

Что предлагаем:

• Возможность реализовать ядро инновационного промышленного AI-продукта на ранней стадии и напрямую влиять на архитектуру.
• Работа с содержательно сложной задачей: проверяемый поиск и верификация фактов в технической документации а не типовой чат-бот.
• Короткая дистанция до принятия решений; прямое взаимодействие с продуктовой командой и техническими лидами.
• Современный стек: LangGraph, Claude API и self-hosted модели, Milvus / pgvector, Langfuse, Kubernetes.
• Сильная инженерная и продуктовая команда; выстроенная методология спецификаций и ревью.