Ведущий инженер данных (удаленная работа)

Вакансия: Ведущий инженер данных

Описание вакансии

RDP - ведущий российский производитель сетевых решений.

Мы специализируемся на разработке инновационного программного обеспечения и программно-аппаратных комплексов для высокопроизводительной обработки сетевого трафика. Продукция компании широко востребована в сетях операторского класса, крупных предприятиях и Госсекторе.

Одна из ключевых особенностей нашей компании поставка масштабируемых решений на базе нашего оборудования, интеграция с системами Заказчика и доработка продуктов под поставляемые решения.

Сейчас мы находимся в поиске Инженера данных в команду, которая занимается разработкой платформы обработки больших данных, а именно сетевого трафика.

Этот продукт будет использоваться для предотвращения сетевых атак, поиска аномалий в трафике и др.

Чем предстоит заниматься:

• Реализация ETL/ELT-процессов по декомпозиции;
• Разработка Spark-трансформаций (batch);
• Разработка SQL-трансформаций и витрин;
• Поддержка DAG'ов в Airflow;
• Поддержка legacy пайплайнов;
• Участие в миграции под руководством Senior / Ведущего инженера данных;
• Участие в устранении инцидентов;

Требования:

• от 5 лет опыта в Data Engineering;
• Продвинутый опыт работы со Spark (batch и streaming);
• Практический опыт построения streaming-обработки (Spark Streaming или Flink);
• Отличное знание SQL и опыт оптимизации под большие объёмы данных;
• Уверенное владение Python (включая PySpark);
• Опыт работы с distributed storage (HDFS, S3 или аналоги);
• Опыт работы с Iceberg / Delta Lake или понимание их принципов;
• Опыт работы с Kafka
• Опыт работы с legacy-системами (Hadoop / Hive) и их оптимизации;
• Поддержка и развитие DAG'ов (Airflow или аналогов).

Будет плюсом:

• Опыт работы с Iceberg / Delta Lake;
• Опыт работы с Trino / Presto;
• Опыт работы с ClickHouse;
• Опыт работы с Kubernetes;
• Понимание streaming-обработки;
• Понимание моделей данных (Star/Snowflake, Data Vault);
• Понимание принципов построения IP-сетей и базовых сетевых протоколов (IP, TCP/ UDP, маршрутизация, модель OSI);
• Понимание принципов MLOps.

Условия:

• Работа в аккредитованной IT компании;
• Трудоустройство в соответствии с ТК РФ;
• Белая заработная плата (оклад обсуждаем с успешным кандидатом после прохождения технического интервью);
• График работы: 5/2, гибкое начало рабочего дня (с 8:00 до 12:00);
• Возможность работать удаленно в рамках РФ;
• ДМС (со стоматологией), частичная компенсация обедов (для тех кто ходит в офис), внутреннее и внешнее обучение за счет компании, корпоративный фитнес и изучение английского языка;
• Офис находится в БЦ "Трио" на метро Динамо (или мцд Гражданская).