Senior QA Engineer (удаленная работа)

Вакансия: Senior QA Engineer

Описание вакансии

Кто мы?

EVO AI IT-компания в области AI-консалтинга и генеративного искусственного интеллекта.

Мы разрабатываем и внедряем AI-агентов, ассистентов и комплексные AI-решения для бизнеса , а также развиваем собственную no-code платформу для создания и оркестрации AI-агентов.

Работаем с крупным российским и международным бизнесом.

Чем предстоит заниматься

• Разрабатывать и поддерживать QA-стратегию и процессы тестирования продукта.

• Тестировать как классическую веб-часть продукта Flask API, Next.js UI , так и AI-функциональность.

• Развивать автоматизацию тестирования:

  • Python + pytest на backend;

  • testcontainers для интеграционных тестов;

  • Vitest / Jest + React Testing Library на frontend;

  • Playwright / Cypress для E2E.

• Проводить API-тестирование REST API и проверять соответствие OpenAPI-контрактам.

• Работать с unit / integration / E2E тестами, фикстурами, параметризацией и моками.

• Тестировать распределенные сценарии: Celery, Redis, асинхронные процессы, очереди, eventual consistency .

• Проверять работу с PostgreSQL , миграциями Alembic и корректностью tenant-scoping.

• Настраивать и поддерживать quality gates в CI/CD: coverage, type-check, линтеры, автоматический прогон тестов и E2E.

• Тестировать AI-функциональность: LLM-агентов, RAG-пайплайны, промпты, tools и интеграции с LLM-провайдерами .

• Участвовать в создании eval-наборов и регрессионных тестов для AI-агентов , оценивать качество ответов и RAG-ретривала.

• Находить узкие места в текущем тестировании и предлагать способы сделать процесс надежнее и быстрее.

• Взаимодействовать с разработчиками и продуктовой командой на всех этапах разработки от постановки задачи до релиза.

• Участвовать в code review тестов и помогать повышать качество разработки.

Что мы ожидаем

• 5+ лет опыта в QA / тестировании для Senior уровня.

• Опыт построения или развития автоматизированного тестирования.

• Уверенный Python и практический опыт с pytest .

• Опыт работы с фикстурами, параметризацией, моками и интеграционными тестами.

• Опыт тестирования backend на Flask / FastAPI / Django или аналогичном стеке.

• Опыт автоматизации frontend с Playwright / Cypress и Vitest / Jest + React Testing Library .

• Хорошее понимание API-тестирования, REST и OpenAPI .

• Опыт работы с PostgreSQL и понимание принципов работы миграций.

• Понимание CI/CD, Docker и GitHub Actions .

• Понимание принципов тестирования распределенных и асинхронных систем.

• Умение самостоятельно разбираться в продукте, находить риски и предлагать решения.

• Понимание того, как балансировать качество, риски и скорость разработки .

Будет большим плюсом

• Опыт тестирования LLM-приложений, AI-агентов или ML-продуктов .

• Практический опыт с RAG и оценкой качества AI-систем.

• Опыт работы с Langfuse, Opik, Weave или аналогичными инструментами для eval и observability.

• Опыт с vector DB: pgvector, Qdrant, Weaviate, Pinecone и др.

• Опыт нагрузочного, security или chaos-тестирования.

• Опыт работы с Celery / Redis и другими очередями.

• Опыт работы в продуктовой команде и участия в формировании QA-процессов с нуля.

Условия

• Удаленный формат работы .

• Рабочий график: 09:00 18:00 по МСК .

• Работа над собственным AI-продуктом, который активно развивается.

• Сильная техническая команда и возможность влиять на процессы и качество продукта.

• Возможность профессионального роста в направлении QA Automation и тестирования AI-систем .

В сопроводительном письме расскажите, пожалуйста:

• о вашем опыте автоматизации тестирования;

• какие инструменты и технологии используете;

• был ли у вас опыт работы с AI / ML / LLM-продуктами .