Старший дата-инженер (Senior Data Engineer) (удаленная работа)

Вакансия: Старший дата-инженер (Senior Data Engineer)

Описание вакансии

Мы ищем Senior Data Engineer, который усилит нашу команду.

Задачи:

• Поддержка инфраструктуры DWH в рабочем состоянии;
• Развитие архитектуры системы;
• Развитие и рефакторинг ETL сервиса (Airflow / python);
• Написание тестов (pytest);
• Поддержка legacy пайплайнов ETL (logstash);
• Добавление/изменение поставок данных из Kafka и API сторонних сервисов;
• Создание и изменение DBT моделей агрегатов и вьюх;
• Участие в инициативах по снижению стоимости DWH (оптимизация хранения, compute, пайплайнов и моделей);
• Участие в ревью и командных встречах;
• Взаимодействие с другими командами разработки;
• Поддержание технической документации и Wiki в актуальном состоянии.

Мы ожидаем:

• 3+ года опыта работы Data Engineer;
• Знание Python 3.9+, asyncio, pytest;
• Опыт написания SQL запросов;
• Умение работать с системой контроля версий Git;
• Знание Docker, Gitlab CI, Unix cli;
• Знание и опыт работы с Kafka;
• Опыт работы с DBT и ClickHouse (или аналогичными OLAP);
• Знакомство с экосистемой Yandex.Cloud;
• Опыт оптимизации стоимости DWH: снижение объёма хранения и compute за счёт TTL/партиционирования, инкрементальных ETL, оптимизации SQL/OLAP-моделей;
• Умение измерять и объяснять эффект по деньгам/ресурсам.

Будет плюсом:

• Data lifecycle: hot/cold хранение, архивация, политики retention;
• Опыт миграции и упрощения legacy ETL в более дешёвый и управляемый контур;
• Практический опыт оптимизации ресурсов в Yandex.Cloud (диски, compute/managed-сервисы, сетевой трафик);
• DBT: инкрементальные модели, тесты на рост объёма, контроль дорогих агрегатов.

Мы предлагаем:

• Все по ТК и даже больше - дополнительные отгулы и доплата за дни больничного листа;
• Гибридный формат работы (офис/удаленка);
• Ноутбуки для комфортной работы из дома;
• Современный офис с игровой зоной, фруктами и напитками;
• ДМС со стоматологией после прохождения испытательного срока;
• Частичная компенсация фитнес абонемента;
• Обучающие курсы, тренинги и конференции;
• Эффективная программа адаптации для новых сотрудников;
• Корпоративы и тимбилдинги.