Разработчик ETL (Hadoop, Greenplum) (удаленная работа)

Вакансия: Разработчик ETL (Hadoop, Greenplum)

Описание вакансии

Вместе с нами тебе предстоит выполнять следующие задачи:

• Разработка витрин с нуля на стеке Hadoop/Spark;

• Разработка новой функциональности витрин, реализованных на Hadoop/Spark;

• Совместно с архитектором - решение задач архитектурного бэклога;

• Разработка задач из архитектурного бэклога;

• Разметка yaml-файлов, представляющих собой ETL на самописном фреймворке;

• Разработка витрин с нуля и доработка текущего функционала на хранилище GreenPlum.

Какие знания и навыки для нас важны:

• Высшее образование обязательно;

• Опыт работы с хранилищами данных, опыт построения исторических витрин, прототипов и подготовки требований к инкрементальной загрузке;

• Опыт разработки ELT/ETL;
• Опыт работы с MPP (massive parallel processing);

• Понимание принципов модели распределенных вычислений;

• Опыт создание интеграционных решений в современных BI системах;

• Понимание принципов организации Data Lake/DWH;

• Опыт работы с экосистемой Hadoop;

• Опыт разработки DAGs на Apache Airflow.