AI Agent Test Automation Engineer (Python) (удаленная работа)
(вакансия не опубликована)

Вакансия: AI Agent Test Automation Engineer (Python)

Описание вакансии

Мы продуктовая международная финтех-компания, создающая B2C и B2B SaaS трейдинговую платформу для клиентов по всему миру. На рынке 11 лет.

Сейчас мы ищем уверенного Автотестера на Python с фокусом на тестировании интерфейсов, прикладных AI-решений и сложных агентских сценариев. Ты будешь ключевым участником команды, обеспечивающим качество и надежность наших AI-агентов и developer-facing продуктов в реальных бизнес-сценариях.

Чем мы занимаемся

Мы создаём IDE будущего умную среду для разработчиков, в которой можно создавать не только код, но и изображения, звук, видео, дизайн c помощью самых современных LLM-агентов .

Это AI-стартап внутри стабильной продуктовой компании, где всё только начинается. Мы уже дошли до MVP, у нас есть живые пользователи и профессиональная команда инженеров. Сейчас мы на стадии внутреннего тестирования и готовимся к выходу в прод.

Мы работаем по часовому поясу GMT+3, командные стендапы ежедневно в 12:00.

Чем ты будешь заниматься (основные задачи)

• Разработка автоматизированных тестов на Python для сложных сценариев.

• Создание mock-сервисов и тестовых сред для агентского тестирования.

• Интеграция тестов в CI/CD пайплайны с учетом специфики AI.

• Мониторинг качества AI-решений в production.

• Создание метрик и дашбордов для отслеживания качества AI.

• Документирование тестовых сценариев и best practices.

В частности

Developer Interfaces Testing:

• Тестирование SDK, API и библиотек для разработчиков.
• Валидация документации API и примеров кода.
• Создание автотестов для developer tools и CLI утилит.
• Тестирование интеграционных сценариев и workflow разработчиков.
• Проверка совместимости с различными версиями языков и фреймворков.
• Тестирование IDE плагинов и расширений.
• Валидация схем данных, OpenAPI спецификаций.

Applied AI Testing:

• Тестирование прикладных AI-решений в реальных бизнес-сценариях.
• Валидация качества работы AI-моделей на production данных.
• Тестирование AI-пайплайнов обработки данных.
• Тестирование производительности AI-инференса.

Agent Scenarios Testing:

• Разработка и выполнение тестов для мультиагентных систем.
• Тестирование сценариев взаимодействия между AI-агентами.
• Тестирование цепочек задач (task chains) и workflow агентов.
• Валидация безопасности и ограничений поведения агентов.
• Тестирование интеграции агентов с внешними системами.

Что мы ожидаем от тебя

• Опыт работы в тестировании от 3 лет.

• Уверенное знание Python (pytest, unittest, mock, asyncio).

• Опыт тестирования API и SDK для разработчиков.

• Понимание принципов машинного обучения и AI-агентов.

• Опыт работы с REST/GraphQL API, WebSocket.

• Знание инструментов для нагрузочного тестирования (locust, k6).

• Опыт работы с Docker и контейнеризацией.

• Понимание CI/CD процессов и DevOps практик.

• Знание Git и систем контроля версий.

• Английский от B1 и выше.

Желательно

• Понимание архитектуры мультиагентных систем.
• Знание фреймворков для AI-агентов (LangChain, AutoGen, CrewAI и прочее).
• Опыт работы с LLM API (OpenAI, Anthropic, локальные модели).
• Понимание prompt engineering и тестирования LLM.
• Знание векторных баз данных (Pinecone, Weaviate, ChromaDB).
• Опыт тестирования асинхронных и event-driven систем.

Идеально

• Опыт разработки на Python (не только тестирование).

• Знание ML фреймворков (TensorFlow, PyTorch, Hugging Face).

• Опыт работы с облачными AI-сервисами (AWS Bedrock, Azure OpenAI).

• Понимание RAG-архитектур,

Мы предлагаем

• Полную занятость 5/2 (ИП или ГПХ контракт).
• Удаленку.
• Достойную оплату.
• Гибкий график работы.

• Возможность влиять на архитектуру тестирования AI-продуктов.

• Доступ к современным AI-инструментам и платформам.

• Дружную команду экспертов по AI и разработке.

Присоединяйся к нам строить будущее разработки вместе!