Senior Data Engineer (удаленная работа)

Вакансия: Senior Data Engineer

Описание вакансии

Юзтех группа аккредитованных ИТ-компаний полного цикла разработки с многолетней экспертизой в передовых технологиях: DWH, BigData, AI/ML, Blockchain, BI, предиктивная аналитика, цифровые двойники производства и рисков.

ГК Юзтех является технологическим партнёром таких компаний, как Mail.ru, 2Gis, НЛМК, Еврохим, Go Invest, Альфа-Банк, Сбер, ВТБ, МКБ, Самолет Девелопмент, Х5 Group, Газпромнефть, Лемана Про, Ситилинк, Ланит, IBS. Также, ГК разрабатывает собственные IT-продукты (Usebus, Octopus, Тил Эйчар) и флагманские проекты, которыми пользуется 70% населения страны.

Сфера: Банковская отрасль. Миграция.

Задачи:

• Анализ существующих решений и витрин данных.

• Миграция витрин данных со стека Hadoop (Hive, Oozie, Spark 2.4, Impala) на стек Apache Iceberg + Spark 3.5 + Apache Airflow.

• Реализация недостающих реплик для витрин данных с источников с использованием готовых кодогенераторов.

• Переработка существующих решений на целевом стеке, в отдельных случаях разработка решений с нуля по шаблонам.

• Построение и развитие витрин данных, участие в их тестировании и валидации.

• Наполнение и актуализация технической документации по разработанным решениям.

• Взаимодействие с командами разработки и аналитики в рамках проработки и внедрения решений.

Мы ожидаем:

• Уверенные знания SQL и Python.

• Опыт работы с Apache Spark.

• Практический опыт работы с хранилищами данных на базе Hadoop / S3 / S3-compatible storage.

• Обязательное знание и опыт работы с Apache Iceberg (таблицы, версии, schema evolution, partitioning).

• Опыт использования Apache Airflow для оркестрации и управления пайплайнами.

• Понимание форматов хранения данных, в том числе Parquet.

• Опыт работы с инструментами командной разработки: Git, CI/CD, трекерами задач и документацией (Jira, Confluence или аналоги).

• Навыки работы с форматами данных JSON, XML.

• Опыт системного анализа и тестирования data-решений.

• Базовое понимание работы реляционных СУБД.

• Базовые знания Kafka и принципов потоковой передачи данных.

Мы предлагаем:

• Работу в компании, которая много лет входит в топы самых престижных рейтингов;
• Трудоустройство официальное по ТК РФ и в штат компании;
• Гибкое утро (с 8 до 12 утра по Москве), рабочий график 5/2, полная удалёнка, гибридный формат или работа из офиса по вашему выбору;
• Полис медицинского страхования (ДМС + стоматология для сотрудников, скидки на страхование для членов семьи);
• Подарки, скидки и сертификаты для детей сотрудников;
• Оплата обучения и сертификаций;
• Регулярные внутренние семинары под эгидой Корпоративного Университета, посвящённые новым технологиям и самым актуальным темам в области аналитики, разработки, тестирования, управления;
• Usetech English Club обучение английскому с корпоративными скидками, разговорный клуб.