Python developer в GenAI Evaluation (удаленная работа)

Вакансия: Python developer в GenAI Evaluation

Описание вакансии

Мы в hh создаем продукты и AI-ассистентов для работодателей и соискателей на базе генеративных технологий. Уже сейчас мы используем LLM-модели для генерации текстов, ведения диалогов, классификации и анализа вакансий и резюме. Направление активно развивается, и сейчас мы ищем талантливого Python инженера, который поможет нам в выстроить в компании эффективную систему оценки качества GenAI фичей.

Если вам интересно закладывать основу для устойчивого использования GenAI в продуктах через бенчмарки, метрики и процессы, которым будут следовать десятки команд, и вы смотрите на ML не просто как на модели, а как на инструмент влияния на продукт мы будем рады видеть вас в нашей команде.

Чем предстоит заниматься:

• Разрабатывать высокопроизводительный сервис для массового тестирования GenAI решений - от простых запросов к LLM до сложных агентов с отдельным окружением;

• Развивать архитектуру сервиса тестирования и строить дальнейшие планы по его развитию в соответствии с реальными нуждами внутренних пользователей;

• Разобраться с подходом Evaluation-Driven-Development для разработки GenAI фичей и заложить его в архитектуру и дизайн сервиса для тестирования;

• Интегрировать сервис с платформой трейсинга LangFuse;

• Помогать разрабатывать внутренние бенчмарки по hr домену для оценки open source LLM моделей и добавлять их в сервис тестирования;

• Помогать разрабатывать диалогового агента для тестирования чат-ботов;

• Разрабатывать и поддерживать лучшие практики, кукбуки, инструкции и другие материалы, которые помогут командам ускорить и упростить процесс разработки и тестирования GenAI с помощью сервиса тестирования;

• Активно взаимодействовать с продуктовыми командами, помогать внедрять инструменты и подходы к оценке качества GenAi решений.

Требования:

• Уверенное знание python3 (asyncio, mutiprocessing/multithreading, организация кода, работа с менеджерами зависимостями), понимание как это работает внутри;

• Умение проектировать и развивать архитектуру сервисов;

• Опыт работы с базами, очередями;

• Опыт работы с fastapi;

• Опыт работы с API вызовами LLM провайдеров openai/google и тд, знание особенностей и различий;

• Опыт работы с современными инструментами для разработки, основанными на LLM (Cursor, Claude Code, Codex и тд), понимание их сильных и слабых сторон.

Будет плюсом:

• Знание Java;

• Опыт работы с bash, k8s, nfs;

• Опыт работы с различными хранилищами - clickhouse, hdfs, s3;

• Опыт работы с векторными базами данных (Milvus/Qdrant/FAISS/pgvector) для RAG решений и не только;

• Опыт работы с трейсинг платформами, основанными на OpenTelemetry;

• Опыт сборки, выкатки, мониторинга, траблшутинга сервисов;

• Знание LLM фреймворков (langchain, langgraph или аналоги) и подходов к разработке AI-агентов (function calling, structured output, context engineering);

• Опыт работы с инференсом open-source LLM-моделей (vLLM/SGLang).

Мы хотим, чтобы каждый сотрудник был доволен своей работой, поэтому мы предлагаем:

• Возможность выбора места работы: удаленно или из офиса;
• Гибкий график;
• Достойный уровень заработной платы;
• Корпоративное ДМС (со стоматологией) с первого месяца работы, страхование жизни;
• Корпоративный сервис с круглосуточной поддержкой юриста, психолога и финансового консультанта;
• Промокоды и бонусы от партнеров;
• Возможность профессионального развития, обучение за счет компании, участие в специализированных конференциях;
• В офисе есть тренажеры, настольный теннис, кикер, пул, зона виртуальной реальности и массажные кресла;
• Доступ в канал mmemes с эксклюзивными мемами;
• Совместную постановку целей и индивидуальный план развития.