QA / Eval-инженер (удаленная работа)

Вакансия: QA / Eval-инженер

Описание вакансии

Привет. Я Виктор, основатель IntellectDialog (7 лет, 500+ клиентов, резидент Сколково). Собираю команду под грантовый НИОКР: система для стоматологических клиник, которая сама решает, кому, когда и в каком канале написать пациенту, сама записывает в МИС и объясняет каждое своё решение. Внутри байесовские профили, скоринги, решающие правила с доказанными теоремами и генерация, где каждая цифра обязана иметь источник.

Важно: только с продовым опытом ровно в том, что написано ниже. Смежный опыт не считается, доучивать некогда сроки грантовые. В сопроводительном обязательно: научные публикации/доклады, если есть (для гранта это влияет на выбор), сколько часов в день готовы уделять, и подтверждение, что ставка 500 - 1000 /час вам подходит. Отклик без этих пунктов и без обязательных пунктов из конца вакансии не рассматриваю .

Вы будете отвечать за то, чтобы вся эта конструкция была доказуемо надёжной от математики профилей до red-team ИИ-агента.

Что конкретно: eval-инфраструктура: golden-наборы, red-team (инъекции, выманивание данных, медицинские провокации), регрессия инцидент тест одним действием , всё гейтами в CI (Promptfoo/DeepEval); property-based тесты математических инвариантов на Hypothesis + фаззинг решателя на миллион конфигураций; испытания транзакций: гонки за слот, обрывы в момент записи, компенсации, деградация при недоступности МИС/LLM; нагрузочные (200 одновременных диалогов, приёмка по p95) и программа квалификационных испытаний для гранта.

Кого ищу: SDET из финтеха/высоконагруженных сервисов или инженера качества ML-продуктов. Того, кто ловил распределённые гонки автотестами и понимает, чем eval-набор отличается от юнит-тестов.

Кому не писать: ручное тестирование и Selenium-автотесты интернет-магазинов не тот профиль, извините. Если Hypothesis и property-based testing для вас теория пока рано.

Стек: Python (eval и тестовый контур), TypeScript (тесты ядра), PostgreSQL, k6/Locust.

В отклике обязательно:

1. Кейс: гонка или распределённый баг, который вы поймали автотестом как построили тест и остался ли он жить в CI после вас.
2. Если тестировали ML/LLM что мерили и как собирали наборы (если нет честно, не откликайтесь).
3. По списку работал в проде / знаю поверхностно / не работал : Hypothesis (property-based): какие инварианты проверяли, писали ли стратегии сами; Promptfoo / DeepEval / Ragas: что гоняли гейтом в CI; red-team LLM: свои корпуса провокаций или инструменты (Garak, PyRIT); k6 / Locust: профили нагрузки, приёмка по перцентилям; тестирование транзакций и идемпотентности: как эмулировали обрывы и гонки; Python и TypeScript в тестовом коде что основной; PostgreSQL: умеете ли готовить тестовые данные и проверять состояние напрямую.
4. Отдельным абзацем: какую тестовую инфраструктуру вы построили с нуля (фреймворк, eval-контур, стенд) а не дописывали тесты в готовую.
5. GitHub, доклады.
6. Научные достижения, если есть списком.
7. Доступность: сколько часов в день готовы уделять, с какой даты и подтверждение, что ставка 500 - 1000 /час по факту отработанного вам ок. Без этого подтверждения созвон не назначаю, чтобы не тратить время обеих сторон.

Условия: удалёнка, от 4 часов в день, 500 - 1000 /час по факту, самозанятость/ИП/ГПХ, 12 18 месяцев. Для ключевых участников по итогам успешной реализации опцион на долю в компании (условия индивидуально, после первых месяцев работы). Это НИОКР с публикациями и РИД 50+ клиник-клиентов ждут пилотов, результат уйдёт в прод. Если есть научные публикации, доклады, участие в НИОКР приложите список, для гранта это важно и влияет на выбор.