Вакансия: Senior LLM Engineer / AI Agent Optimization Lead (Conversational AI, Sales Automation)
Описание вакансии
Мы развиваем AI-агента для автоматизации коммуникации в продажах (сфера недвижимости).
Агент уже работает в продакшене, общается с реальными пользователями и генерирует встречи.
Сейчас нам нужен человек, который полностью возьмёт на себя LLM-направление и подготовит продукт к масштабированию до 1 000+ клиентов.
Это ключевая роль в продукте.
Зона ответственности
1. Владение поведением AI-агента
- Проектирование и оптимизация системных промптов.
- Разработка few-shot и негативных примеров.
- Внедрение guardrails (запреты, анти-галлюцинации, fallback-логика).
- Контроль длины диалога (length fuse, forced CTA).
- Работа с логикой назначения встреч.
2. Повышение конверсии
- Анализ реальных диалогов.
- Поиск точек потери конверсии.
- A/B тестирование версий промптов.
- Оптимизация перехода к назначению встречи.
3. Метрики и контроль качества
- Проектирование системы метрик:
- % предложений встречи
- % согласованных встреч
- % нарушений правил
- средняя глубина диалога
- drop-off этапы
- Внедрение логирования и evaluation.
- Настройка smoke/regression-тестирования.
- Версионирование промптов и контроль изменений.
4. Подготовка к масштабированию
- Повышение стабильности поведения агента.
- Минимизация неожиданных сценариев.
- Формирование стандартов работы с LLM внутри команды.
Что для нас важно
- Опыт работы с LLM в production.
- Понимание, как управлять поведением модели (не только писать промпты).
- Опыт построения evaluation / тестирования LLM-систем.
- Понимание конверсии и воронки продаж.
- Опыт работы с API и backend-логикой.
Технологический контур
- Backend: nodejs/nestjs
- Оркестрация / workflow: n8n
- LLM-провайдеры: openai
- База данных: postgres
- Инфраструктура: docker, got, vps
- Логирование / трекинг: grafana
- Интеграции: Google calendar, telegram
LLM-направление не жёстко привязано к конкретному стеку для нас важнее архитектура контроля и результат.
Формат работы
- Full-time
- Удалённо
- Возможен бонус за достижение KPI (рост конверсии, снижение нарушений)
Обязательный вопрос для отклика
Пожалуйста, кратко ответьте:
У вас есть AI-агент, который должен доводить диалог до назначения встречи.
Какие 5 метрик вы внедрите в первую очередь и как организуете smoke/regression-тестирование новых версий промптов?
Мы оцениваем понимание архитектуры контроля, а не список инструментов.
