Дата-инженер (Платформа анализа данных) (удаленная работа)

Вакансия: Дата-инженер (Платформа анализа данных)

Описание вакансии

О проекте

Мы запускаем проект Платформа анализа данных. Это не просто классическое хранилище данных. Мы строим выделенный высокопроизводительный конвейер для обработки огромных объёмов данных.

Чем предстоит заниматься

Вы будете не просто дата-инженером в классическом понимании. Нам нужен специалист, который сочетает экспертизу в дата-инжиниринге с опытом backend-разработки и умеет работать с высокими нагрузками.

Ключевые задачи:

• Разработка и сопровождение высоконагруженного конвейера обработки данных на отдельном контуре

• Реализация API для взаимодействия между компонентами системы

• Сбор информации через коллекторы (syslog, UDP и другие протоколы)

• Построение ETL/ELT-пайплайнов с использованием Airflow, Spark, Kafka

• Оптимизация производительности: профилирование, работа с многопоточностью, диагностика и устранение узких мест

• Интеграция внешних источников данных в связке с аналитиком

Мы ждём, что вы

Опыт: от 2 лет в дата-инженерии или разработке высоконагруженных систем
Имеете высшее образование

Технические навыки (обязательно):

• Python основной язык для разработки пайплайнов и автоматизации

• SQL уверенное владение, оптимизация сложных запросов

• ClickHouse, Hive и другие СУБД

• Опыт работы с Big Data: Hadoop, Spark, Kafka

• Оркестрация: Airflow, Jenkins или аналоги

• Опыт разработки API высокой нагрузки (понимание многопоточности, работа с сетевыми протоколами)

• Опыт работы с коллекторами сбора информации (syslog, UDP и другие)

Soft skills:

• Системное мышление

• Понимание производительности и архитектуры

• Умение работать с большими объёмами данных

• Коммуникация с аналитиками и смежными командами

Условия работы

• Профессиональный рост: участие в профильных конференциях, доступ к корпоративной библиотеке и курсам.

• Официальное трудоустройство в штат аккредитованной IT-компании ООО НАПА ЛАБС ; полный соцпакет: оплачиваемые отпуска, больничные (100% компенсация), командировки.

• ДМС со стоматологией после прохождения испытательного срока.

• Корпоративные привилегии: бонусные тарифы на телеком-услуги Дом.ру, программы лояльности, скидки в фитнес-клубы и многое другое от партнеров.

• Дружелюбная атмосфера в команде профессионалов, прозрачные процессы.

• Яркая корпоративная жизнь: внутренние хакатоны, митапы, совместные выезды и спортивные мероприятия.