AI-инженер (LLM, Prompt, Eval) (удаленная работа)

Вакансия: AI-инженер (LLM, Prompt, Eval)

Описание вакансии

Мы в hh создаем продукты и AI-ассистентов для работодателей и соискателей на базе генеративных технологий. Уже сейчас мы используем LLM-модели для генерации текстов, ведения диалогов, классификации и анализа вакансий и резюме. Направление активно развивается, и сейчас мы ищем LLM/Prompt-инженера, который поможет нам создавать, тестировать внедрять GenAI-решения.

Если вам интересно развивать продукты на базе LLM через промпты, дизайн llm-пайплайнов и системный подход к оценке качества, если вы готовы не только создавать прототипы, но и улучшать их в продакшене на основе обратной связи и метрик мы будем рады видеть вас в нашей команде.

Чем предстоит заниматься:

• Прототипировать, тестировать и управлять качеством решений на базе LLM;

• Настраивать поведение моделей (без fine-tuning) экспериментировать с промптами (CoT, Tree-of-thoughts, few-shot, structured outputs, tool calling, etc), контекстом, параметрами моделей и архитектурой llm-пайплайнов (один промпт, цепочка промптов и т.п.);

• Совместно с продактами участвовать в дизайне диалоговых сценариев;

• Тестировать и оценивать качество работы llm-решений на всех этапах собирать и регулярно актуализировать golden-сеты, валидационные выборки, создавать метрики и бенчмарки, настраивать llm-as-a-judge;

• Разрабатывать инструкции для разметчиков, принимать участие в разметке (в том числе, самостоятельно размечать golden-сеты);

• Анализировать логи, трейсы и фидбек по реальной работе ассистентов в продакшене и улучшать их качество на основе найденных инсайтов;

• Интегрировать LLM в продукты вместе с разработчиками.

Требования:

• 1-3 года опыта решения реальных бизнес-задач с использованием LLM (цепочки промптов, structured outputs, диалоговые ассистенты);

• Хороший Python, опыт работы с аналитическими инструментами (jupyter, pandas, matplotlib);

• Опыт с SQL, навыки работы с данными, умение собрать датасет и провести аналитику;

• Опыт с OpenAI API и аналогами;

• Навыки тестирования и регресс проверок промптов, понимание подходов к оценке llm-систем (offline-метрики, human evaluation, llm-as-a-judge, A/B тестирование).

Будет плюсом:

• Опыт использования алгоритмов автоматической оптимизации промптов (GEPA и др);

• Опыт организации процесса разметки, построения golden датасетов и автоматизации эвалов;

• Опыт использования валидационных фреймворков и инструментов observability (DeepEval, LangFuse, MlFlow, LangSmith и др.);

• Опыт с фреймворками оркестрации llm (langgraph, langchain или аналоги);

• Опыт построения сложных агентных систем, RAG.

Условия:

• Возможность выбора места работы: удаленно или из офиса;

• Гибкий график рабочего дня;

• Оформление в соответствии с ТК РФ, Белая заработная плата, выплачиваемая точно в срок;

• Корпоративное ДМС с первого месяца работы (решаем вопросы со здоровьем быстро и удобно);

• Возможность профессионального развития, обучение за счет компании, участие в специализированных конференциях.