Задание: AI-агенты. независимый технический аудит ИИ-системы (Дистанционная работа)
О системе. Внутренняя операционная система инвестиционной компании: веб-приложение (сервер, база данных, интерфейс для сотрудников) со встроенным ИИ-агентом на языковой модели Claude (через API). Агент рассуждает по шагам и сам пользуется инструментами системы: читает данные сотрудника, заполняет документы, сверяет их с правилами компании. Свою модель мы не обучаем. Кого ищем. Инженера по внедрению языковых моделей (AI / LLM Engineer) старшего уровня с опытом запуска ИИ-агентов в рабочую эксплуатацию. Он не должен быть связан с разработчиком системы. Задача. Провести независимый аудит устройства системы и подготовить профессиональный отчёт с рекомендациями по улучшению. Что нужно оценить: Инструкции и контекст модели. Как устроены системные инструкции, навыки под отдельные задачи и подача знаний компании: структура, полнота, противоречия, устойчивость поведения. Агент и инструменты. Набор инструментов и их описания, логика шагов, обработка ошибок, границы самостоятельности агента. Эталоны и проверка качества. Насколько эталонные диалоги покрывают реальные сценарии, насколько надёжна модель-проверяющий, есть ли регрессионные прогоны и как измеряется качество. Процесс внедрения правок. Путь изменения от предложения до выпуска: кто утверждает, как проверяется, как ведутся версии, есть ли возможность отката. Монитор. Как отслеживаются ответы и ошибки, как разбираются причины, насколько обоснованы предлагаемые им правки. Безопасность и доступы. Права агента на данные, защита от вредоносных запросов (prompt injection), риск утечки данных через контекст, журнал действий. Стоимость и скорость. Расход токенов, кэширование, выбор модели под задачу, время ответа. Устойчивость и сопровождение. Поведение при сбое API или смене версии модели, качество документации, зависимость от одного разработчика. Результат — письменный отчёт: краткое резюме для руководителя (1 страница); оценка по каждому из восьми блоков: что сделано хорошо, что слабо, в чём риск; перечень замечаний с уровнем критичности (критично / важно / желательно); рекомендации по улучшению с приоритетом и оценкой трудоёмкости; сравнение с принятой в отрасли практикой; итоговый созвон с разбором отчёта. Условия: соглашение о неразглашении до начала работы; доступ только на просмотр, на обезличенных или тестовых данных; фиксированная оплата за отчёт; доработка системы по итогам аудита в заказ не входит. В отклике просим указать: 1–2 реализованных проекта с ИИ-агентами в эксплуатации, опыт построения проверки качества, пример структуры аудиторского отчёта (если есть), срок и стоимость.
