Системный архитектор ML (удаленная работа)

Вакансия: Системный архитектор ML

Описание вакансии

RDP - ведущий российский производитель сетевых решений.

Мы специализируемся на разработке инновационного программного обеспечения и программно-аппаратных комплексов для высокопроизводительной обработки сетевого трафика. Продукция компании широко востребована в сетях операторского класса, крупных предприятиях и Госсекторе.

Одна из ключевых особенностей нашей компании поставка масштабируемых решений на базе нашего оборудования, интеграция с системами Заказчика и доработка продуктов под поставляемые решения.

Сейчас мы находимся в поиске Системного архитектора в команду ML.

Команда занимается:

1. Проверкой гипотез по детектированию приложений, сервисов в сетях оператора с использование ML подходов.
2. Разработкой ML pipline-ов для автоматизации процессов создания/обучения моделей.
3. Поиском и исследованием перспективных направлений в применение ML подходов для решения задач по детектированию трафика.

Чем предстоит заниматься:

• Разработка и управление архитектурой Datalake и ML-кластера для обработки больших объемов данных (в частности, данных сетевого трафика) и обучения моделей машинного обучения;

• Проектирование систем хранения данных, включая выбор баз данных;

• Разработка ETL-процессов для сбора информации из различных источников, приведения их к нужному формату и загрузки в хранилище;

• Выбор оптимальных технологий и инструментов для построения масштабируемых и отказоустойчивых распределенных систем, способных обрабатывать большие объемы данных в реальном времени;

• Проектирование и развертывание инфраструктуры для хранения, обработки и анализа больших данных, включая выбор оборудования, программного обеспечения и облачных сервисов;

• Взаимодействие с командами Data Science, Data Engineering и сетевыми аналитиками для выявления требований к инфраструктуре машинного обучения и данным;

• Оптимизация существующих ML-моделей и адаптация к production среде;

• Участие в разработке и внедрении процессов непрерывной интеграции и непрерывного развертывания (CI/CD) для ML-моделей;

• Анализ требований заинтересованных сторон к исследованию больших данных;

• Разработка технического задания на создание методической и технологической инфраструктуры больших данных.

Что мы от вас ожидаем:

• Глубокие знания в области технологий сбора, хранения и обработки больших данных (DataLake, DWH);

• Опыт проектирования модели данных DWH;

• Опыт проектирования распределенных систем и кластеров;

• Опыт проектирования систем обработки больших данных;

• Опыт работы с технологиями контейнеризации и оркестрации: Docker, Kubernetes;

• Опыт работы с инструментами управления ML-моделями: MLflow, Kubeflow;

• Знание технологий обработки больших данных: Spark, Hadoop, Flink;

• Понимание жизненного цикла ML-моделей: от сбора данных до развертывания и мониторинга;

• Опыт работы с ML-алгоритмами и методами их оптимизации;

• Умение проводить нагрузочное тестирование и оптимизацию производительности системы;

• Знание принципов информационной безопасности и защиты данных.

Условия работы:

• Работа в аккредитованной IT компании;
• Трудоустройство в соответствии с ТК РФ;

• Белая заработная плата (оклад обсуждаем с успешным кандидатом после прохождения технического интервью);

• График работы: 5/2, гибкое начало рабочего дня (с 8:00 до 12:00);
• Возможность работать удаленно или в гибриде;
• Офис находится в БЦ "Трио" на метро Динамо (или мцд Гражданская);
• И плюшки ниже :)