Разработчик / Инженер локальной RAG LLM системы (удаленная работа)

Вакансия: Разработчик / Инженер локальной RAG LLM системы

Описание вакансии

Обязанности:

• Внедрить и адаптировать офлайн LLM для работы с корпусом школьных учебников.
• Настроить и интегрировать готовый RAG-пайплайн в существующую систему.
• Организовать обработку базы знаний: конвертация документов (PDF/DOCX текст) при необходимости, предобработка, очистка и чанкинг.
• Настроить и оптимизировать векторное хранилище (ChromaDB, FAISS, Qdrant или Weaviate).
• Подобрать и интегрировать модель эмбеддингов для эффективного поиска по учебникам.
• Интегрировать локальную LLM в формате .gguf (через llama.cpp / llama-cpp-python или аналогичные инструменты) в существующую архитектуру приложения.
• Оптимизировать качество поиска и ответов модели, снизить количество галлюцинаций.
• Настроить процесс обновления базы знаний без необходимости повторного обучения модели.
• Провести тестирование производительности и качества работы офлайн-модели.
• Подготовить документацию по развертыванию, настройке и сопровождению решения.

Требования:

• Требования Hard skills Практический опыт с LLM и локальным инференсом. Глубокое понимание RAG (ретривер, генератор, контекстные окна, подбор негативов, переранжирование). Опыт работы с векторными БД: ChromaDB, FAISS, Qdrant, Weaviate (одна или несколько). Опыт с quantized моделями и стеком ggml / llama.cpp; понимание формата .gguf. NLP базис: чанкинг, токенизация, эмбеддинги (например, sentence transformers). Уверенный Python и экосистема (poetry/venv, pytest, logging, CLI). Опыт/понимание fine tuning (желательно LoRA/QLoRA). Базовые навыки Linux и работы с CLI, GPU/CPU настройка.
• Требования Подход и Soft skills Исследовательский подход: постановка гипотез, A/B тесты, строгая оценка качества ретривера и генератора. Итеративность: идти маленькими шагами с измеримыми улучшениями, а не большой перезапуск обучения . Фокус на данных: качество корпуса и поиска первично, размер модели вторичен. Целеполагание: Зачем мы это делаем? перед каждым этапом дообучения

Условия:

• Формат работы: в офисе / гибридно (по договорённости). График: гибкий, ориентирован на результат. Компенсация: конкурентная, обсуждается с успешными кандидатами. Процесс: скрининг техническое интервью тестовое финальное интервью оффер