Вакансия: Главный разработчик / ETL
Описание вакансии
Hot Cache - система горячего кэширования. Стек самой системы:
- Object Storage (MinIO), на котором на Hive Metastore существуют таблицы Iceberg v.1.7
- Airflow 2.10.3 – оркестратор для батч-потоков
- Spark 3.5 – ETL инструмент батч-потоков
- Debezium, Kafka – на них организован CDC-захват данных с источников
- Инструмент «SDI» от вендора – оркестратор стриминговых потоков, надстройка над Flink
Используемые в команде языки по степени использования:Python 40%, Groovy 15%, сам фреймворк Spark 30%
Чем предстоит заниматься:
- Участие в проекте создания высоконагруженной системы горячего хранения данных
- Подключение системы горячего кэширование к действующим потоковым источникам и ETL процессам, расширение источников, создание новых
- Построение процессов инициализирующей загрузки данных (Spark /PySpark)
Наши ожидания от кандидата: - Опыт работы с Debezium, понимание процесса cdc-захвата данных на уровне Middle+
- Опыт работы со Spark (PySpark) на уровне Middle+
- Airflow – на среднем уровне. Опыт работы с инструментом
- Kafka – понимание принципов работы
- Желателен опыт работы с Object Storage, общие сведения про Iceberg в связке с Hive Metastore
- Python, Groovy на среднем уровне
- Опыт работы с продуктами Tarantool будет преимуществом
Что мы предлагаем взамен: - Стабильный и прозрачный доход: размер заработной платы обсуждается по итогам собеседования + квартальная премия по результатам KPI
- Гибкий график работы: вы сможете планировать время так, как удобно вам и вашей команде
- Полную удалёнку или гибрид на выбор, а также уютный ИТ-хаб в Москве, Санкт-Петербурге, Екатеринбурге и сезонный коворкинг в Сочи
- Сложные и интересные задачи, современный стек технологий
- Заботу о вашем здоровье: программа ДМС с первых дней работы, куда входит стоматология, обслуживание в лучших клиниках города, страхование и компенсация 10-ти дней больничного
- Возможность вертикального и горизонтального карьерного роста: регулярно проходят тренинги, вебинары, митапы и демо-дни
- Оплату посещения профильных конференций и курсов, помогаем с подготовкой к публичным выступлениям и написанием статей на Хабр
- Доступ к бесплатным корпоративным библиотекам Alpina Digital, MyBook и бизнес-изданий
- Предложения от Банка только для сотрудников: собственные спортзалы (Москва, Санкт-Петербург, Екатеринбург), а также скидки на услуги туристических агентств, продукты питания, в рестораны, бары, магазины
