LLM inference lead (MLOps) (удаленная работа)

Вакансия: LLM inference lead (MLOps)

Описание вакансии

Мы строим платформу LLM инференса, обслуживающую как внутренние, так и продакшен-сервисы. Наша миссия обеспечить стабильный, масштабируемый и экономичный сервинг больших языковых моделей. Мы ищем инженера лидера, который возглавит развитие инфраструктуры, оптимизацию latency и throughput, а также внедрение передовых подходов к распределенному LLM инференсу.

Обязанности:

• Возглавить разработку и оптимизацию инфраструктуры инференса LLM моделей, обеспечивая минимальную задержку и высокую пропускную способность для внутренних приложений и сервисов.
• Проектировать end to end пайплайны LLM инференса, включая шардирование моделей и потоковую генерацию токенов.
• Обеспечивать масштабируемость и надежность LLM serving инфраструктуры, выбор инструментов для инференса (vLLM, TensorRT LLM, Triton, DeepSpeed Inference).
• Разрабатывать и внедрять механизмы оптимизации стоимости и производительности GPU нагрузок
• Построить систему observability и мониторинга LLM инференса: латентность, token throughput, GPU utilization, промахи кэша KV storage и т.п.

Ключевые знания и навыки:

• Глубокая экспертиза в архитектуре и инференсе больших языковых моделей.
• Понимание устройства моделей (трансформеры, BERT, LLM и т.д.)
• Опыт построения высокопроизводительных LLM сервисов с использованием vLLM, TensorRT LLM/FasterTransformer/Triton Inference Server/etc.
• Знание методов оптимизации и ускорения LLM инференса: quantization (FP16, INT8, FP8), FlashAttention, paged attention, speculative decoding.
• Понимание нюансов распределенных систем и GPU коммуникации (NCCL, MPI, RDMA, InfiniBand).
• Опыт в управлении кластером для LLM нагрузок (Kubernetes, Ray, KServe, Kubeflow) в облаке или на своем железе.
• Уверенное владение Python
• Знание инструментов профилирования GPU (nvidia smi, Nsight, TensorRT Profiler).
• Опыт участия в архитектурном дизайне крупных AI платформ
• Опыт управления командой инженеров.
• Продвинутые навыки работы в Linux, CI/CD и системах оркестрации моделей.

Будет преимуществом:

• Опыт построения LLM сервисов с потоковой генерацией токенов (streaming inference).
• Знание особенностей служебных компонентов LLM пайплайна: токенизаторы, KV кэш, контекстное окно.
• Понимание внутренней архитектуры GPU (CUDA, cuDNN, Tensor Cores) для глубокой оптимизации производительности.
• Участие в проектах по оптимизации инфраструктуры для LLM инференса на уровне платформы (multi tenant LLM serving, dynamic batching).
• Понимание принципов векторных баз данных (Milvus/Qdrant/FAISS/pgvector) для RAG решений и не только.

Что предлагаем мы:

• Возможность выбора формата работы: гибрид, удаленно или из офиса
• Гибкий график
• Корпоративный ДМС со стоматологией c первого месяца работы
• Активная корпоративная жизнь: регулярно проводим неформальные оффлайн-встречи, возможность командировок из других городов
• Хороший тренажерный зал в офисе и душ при нем, а также занятия йогой, настольный теннис и кикер
• Кофе в кофемашинах, чай, печенье, фрукты на кухне
• Электронная корпоративная библиотека
• Молодой, профессиональный и дружный коллектив
• Возможность профессионального развития, обучения за счет компании, участия в конференциях
• Достойный уровень заработной платы
• Совместную постановку целей и индивидуальный план развития