Привет! Мы команда AI агентов 2ГИС. Мы делаем агентов для пользователей (B2B и B2C): например, агент в карте или карточке фирмы отвечает на вопросы, помогает записаться на услуги и решать задачи в диалоге. У нас высокая скорость доставки фичей, короткий релизный цикл и минимум бюрократии при этом сохраняются плюсы бигтеха. Сейчас мы ищем QA лида , который с нуля выстроит систему тестирования и quality гейты для AI агента, станет владельцем процессов качества и будет играющим тренером : не только определять подходы, но и внедрять их в коде/пайплайнах/инструментах.
Чем предстоит заниматься
Выстроить с нуля систему тестирования и quality gates для AI агента и быть владельцем процессов качества в команде.
Организовать тестирование на всём цикле разработки: тест требований, функциональное, интеграционное, E2E, регресс.
Разрабатывать и поддерживать автотесты на Python для проверки сценариев работы AI агента (в т.ч. диалогов, памяти/контекста, вызовов инструментов и интеграций).
Готовить тестовые сценарии и данные, поддерживать наборы для регулярных прогонов и контроля регрессий.
Проводить нагрузочное/стресс тестирование и тестирование деградаций при сбоях внешних API (k6 или аналог).
Встраивать проверки качества в CI/CD, обеспечивать стабильность и прозрачность прогонов (отчётность, причины флапающих тестов).
Мониторить качество в продакшне: метрики, трейсинг, алертинг, разбор инцидентов качества и улучшение процесса по итогам.
Использовать Copilot и внутренние AI инструменты для ускорения тестирования и автоматизации рутины.
Мы ожидаем
Опыт работы в QA от 5-ти лет.
Опыт построения процесса тестирования с нуля или существенной перестройки QA системы в продуктовой команде.
Уверенная практика автотестов на Python (3+ лет) + понимание, где ручное тестирование действительно необходимо и почему.
Опыт работы с CI/CD (встраивание тестов, гейтов, отчётности, стабилизация прогонов).
Опыт нагрузочного тестирования (k6 или аналоги) и умение интерпретировать результаты.
Сильные аналитические навыки: умение формулировать критерии качества, видеть системные риски и закрывать их процессом/инструментами.
Будет плюсом
Понимание принципов работы LLM: токены, промпты, ограничения контекста.
Знание архитектур AI агентов: ReAct / Tool Use / RAG / Multi Agent.
Опыт с LangChain или аналогами.
Понимание недетерминированности AI систем и способов контроля качества: evaluation подходы, стабильность, регрессии на датасетах, метрики.
Почему у нас хорошо
Сильная QA вертикаль и возможность делать правильно , а не как получится .
Аккредитованная IT компания, полностью белая зарплата.
ДМС, корпоративное обучение.
Удалённо или офис: Москва / Санкт Петербург / Новосибирск.
Поддержка профессионального развития: конференции, тренинги, профильные публикации.
