Python Engineer (удаленная работа)
(вакансия не опубликована)

Вакансия: Python Engineer

Описание вакансии

Обязанности:

• Автоматизированная валидация промтов

писать на Python скрипты, которые:

берут тестовые сценарии (JSON/CSV);

вызывают актуальные промт-инструкции (через API LLM или локальный сервер);

сохраняют ответы, метаданные и оценки (rouge/BLEU/LLM-as-judge/ручные метки);

формируют отчёты (Markdown/CSV/DB) и алерты при деградации качества;

поддерживать пайплайн с дифф-тестами при каждом изменении промта.

• Подготовка тестовых датасетов

  собирать и курировать сценарии (user stories, edge-cases, негативные примеры);

  анонимизировать, версионировать и документировать выборку.

• Аналитические дашборды (Redash)

  писать SQL-запросы и визуализации;

  настраивать auto-refresh и рассылку отчётов.

• Сотрудничество

  работать с продакт-менеджером и дизайнером промтов;

  помогать формулировать метрики качества (precision@k, hallucination rate, UX CSAT)

Требования:

Python-бэкграунд (3+ года) асинхронность или multiprocessing, pandas / polars.

Работа с LLM-стеком и промт-инженерией вызов моделей, управление параметрами температуры, топ-p; понимание RAG-архитектуры и ограничений больших языковых моделей.

Автоматизированная оценка качества модели разработка скриптов pairwise / LLM-as-Judge, метрики ROUGE / BLEU / BERTScore / hallucination rate, отчёты о деградациях.

Дашборды и аналитика создание информативных визуализаций.

Английский не ниже B2 чтение технических статей, ведение переписки и созвонов с международными коллегами.

Желательно иметь

опыт с LLM-as-Judge подходами (gpt-4-o scoring и т.д.);

знание Grafana/Prometheus для runtime-метрик;

опыт A/B-экспериментов или онлайн-валидиции моделей.

Условия:

• График работы с 10:00 до 19:00 (гибко, можно обсуждать)
• Удаленный формат работы
• Доступ к современным инструментам и технологиям, обучение и профессиональное развитие.
• Дружелюбная и поддерживающая команда, открытая к инновациям и новым идеям.