Ведущий разработчик ETL (Big Data) (удаленная работа)

Вакансия: Ведущий разработчик ETL (Big Data)

Описание вакансии

Команда развивает контур интеграции данных крупного банка.

Команда занимается построением и развитием Единого Интеграционного Слоя и пользовательских витрин данных , обеспечивающих работу аналитических систем, прикладных сервисов и внутренних продуктов банка.

Обязанности:

• Разрабатывать ETL-процессы и интеграционные потоки данных.
• Проектировать и создавать типовые модули ETL-приложений.
• Участвовать в проектировании архитектуры потоков данных.
• Разрабатывать и внедрять корпоративные стандарты разработки.
• Проводить код-ревью и контролировать качество решений.
• Подготавливать техническую документацию.
• Участвовать в тестировании и сопровождении ETL-решений.
• Помогать команде сопровождения в расследовании и устранении дефектов на продуктивном контуре.
• Взаимодействовать с архитекторами, аналитиками и смежными командами.

Требования:

• Коммерческий опыт разработки в Big Data от 3 лет.
• Уверенное знание Python и SQL.
• Опыт работы с Apache Spark / PySpark.
• Опыт разработки и сопровождения ETL-процессов.
• Практический опыт работы с Apache Airflow.
• Опыт работы с Hadoop/HDFS.
• Опыт работы с S3 или S3-compatible хранилищами.
• Знание форматов Parquet и ORC.
• Опыт работы с Git и CI/CD инструментами.
• Опыт использования Jira и Confluence либо аналогичных систем.
• Понимание принципов системного анализа и тестирования.
• Базовое понимание работы Kafka.
• Практический опыт работы с архитектурой Data Vault.
• Навык написания технической документации.

Будет преимуществом

• Опыт работы с Apache Kafka.
• Опыт работы с Apache Iceberg.
• Опыт работы в банковской сфере или крупных корпоративных проектах.
• Опыт наставничества и проведения код-ревью.