AQA Engineer (Java + ML/LLM, Middle+/Senior) (удаленная работа)

Вакансия: AQA Engineer (Java + ML/LLM, Middle+/Senior)

Описание вакансии

Ищем опытного QA-автоматизатора на Java, который умеет не просто писать автотесты, а тестировать алгоритмы на базе LLM: генерацию вопросов, ответов и кратких пересказов, участвовать в оценке качества модели, настройке фактчекинга и улучшении промптов.

Что будет в работе

• Тестирование алгоритмов на базе LLM для генерации вопросов, ответов и кратких пересказов.

• Разработка автотестов на Java по имеющимся тестовым спецификациям в рамках фреймворка.

• Анализ неисправностей, рефакторинг и улучшение существующих автотестов.

• Помощь в настройке инструментов исполнения автотестов на сервере (Jenkins, Selenoid).

• Работа по улучшению и оптимизации тестового фреймворка.

• Участие в развитии виртуального ассистента и сценариев свободного диалога с пользователем.

• Настройка фактчекинга, фильтрации и оценки качества ответов модели.

• Сравнение результатов, подготовленных моделью, с редакционными версиями материалов.

• Тестирование промптов, гипотез и подходов к улучшению качества ответов.

Что важно

• Коммерческий опыт автоматизированного тестирования на Java от 3 лет, уровень Middle+ / Senior.

• Java: базовый синтаксис, типы данных, управляющие конструкции, принципы ООП уверенное владение.

• Опыт работы со стеком: JUnit 5, Selenium / Selenide, Allure, Maven.

• Умение работать с системами контроля версий Git, GitLab.

• Умение строить локаторы по XPath и CSS, знание и понимание паттерна Page Object.

• Опыт тестирования веб-приложений, UI-автотесты, интеграция с CI/CD.

• Понимание принципов работы ML-моделей, интерес к тестированию LLM и NLP-задач.

• Умение анализировать неисправности, рефакторить код и улучшать качество автотестов.

• Умение работать автономно, брать задачу целиком и доводить до результата.

Будет плюсом

• Практический опыт работы с Jenkins и Selenoid.

• Опыт тестирования API (REST Assured, OkHttp) и микросервисов

• Участие в развитии виртуального ассистента, чат-ботов, сценариев свободного диалога

• Настройка фактчекинга, фильтрации и оценки качества ответов модели, сравнение с редакционными версиями

• Тестирование промптов, гипотез и подходов к улучшению качества ответов LLM

• Понимание метрик качества LLM: hallucination detection, factual consistency, prompt injection, bias/fairness.

• Опыт работы с Docker, Kubernetes, базовое понимание инфраструктуры и деплоя.

• Английский язык для работы с зарубежной документацией, командами и стейкхолдерами.

Английский

• Для проектов без английского язык не требуется.

• Для европейских и американских проектов нужен английский от B2+.

Процесс

• Короткое общение с рекрутером.

• Техническое интервью / TechCertify-скрининг.

• Передача на подходящие проекты клиентам.

Если вам близок инженерный подход к автоматизации, нравится не просто покрывать кейсы , а тестировать сложные ML-системы и влиять на качество модели будем рады пообщаться.