Задание: Тестировщик. Тестирование RAG-системы (построение QA) (Дистанционная работа)
Мы с командой на начальной стадии разработки RAG cистемы, разговорного агента, работающего в чатах. На текущий момент есть MVP прототип с возможностью: - загрузки знаний, в том числе парсер сайтов; - ingest воронка. Т.е. все что в документах индексируется с определенными особенностями; - дальше, собственно, сам агент, пока без тулов, но с классификацией интента, эскалацией на оператора и т.д. На проекте есть субъективное ручное тестирование на небольшом датасете и RAGAS. Ищу человека, который в первую очередь сможет принести систему, с помощью которой мы сможем контролировать и конечный результат и отдельные звенья агента. Пока не усложняя, держа в голове начальную стадию развития проекта. С точки зрения бизнеса есть потребность: - понимать текущий показатель качества по сравнению с конкурентами; - контролировать качество продукта при его развитии. Сейчас только в процессе организации юр лица, поэтому работаю с ИП и самозанятыми. Ищу человека с опытом решения подобных задач, кто сможет «распаковать» свой багаж знаний на нашем проекте, научить и развивать проект вместе с нами. В откликах буду благодарен, если расскажите про свой опыт на подобных проектах.
