ETL-разработчик/ ETL-developer (Greenplum, PXF, Spark) в Fintech (удаленная работа)

Вакансия: ETL-разработчик/ ETL-developer (Greenplum, PXF, Spark) в Fintech

Описание вакансии

IT-холдинг, работающий по всему миру. В нашем портфолио несколько ключевых направлений:

-Внедряем BI и аналитику;

-Внедряем корпоративные платформы данных;

На текущий момент нам требуется ETL-разработчик уровня middle+/senior на новый Fintech проект.

Вам предстоит:

• Совместная работа с DBA-архитектором на проектах;
• Организация ETL-процессов выгрузки данных Apache Hudi таблиц из S3 в ODS-слой на Greenplum;
• Разработка трансформации данных ODS-слоя в DDS-слой;
• Имплементация раз личн ых CDC-методов (инкрементальный JOIN с двумя наборами данных, вычисление хэша с последующим diff);
• Разработка plpgsql-функций или аналогичной логики на Spark для трансформации данных, на основе логике существующего Python/T-SQL кода (MSSQL);
• Разработка ad-hoc аналитических запросов под PostgreSQL/Greenplum;
• Разработка DataQuality-тестов на скриптовом ETL (Pyhon, Java или Scala);
• Работа с AirFlow-операторами, разработка DAGs;
• Установка и эксплуатация ADB (Greenplum);
• Мониторинг и поиск проблемных мест при эксплуатации ADB (Greenplum)

Наш идеальный кандидат:

• Имеет опыт ETL-разработчика от 4 лет;
• Имеет опыт с технологическим стеком: Greenplum, PXF, Spark.
• Понимает различия PostgreSQL & Greenplum;
• Понимает механизма работы QE/QD (query executor & query dispatcher), и как исполняется SQL-запрос в Greenplum-кластере, включая планы запросов (redistribute, broadcast, gather motions);
• Понимает механизм дистрибьюции данных на сегмент-инстансах Greenplum, и как исправлять перекосы данных (skews);
• Понимает разницу механизмов работы Heap & AOP (append-optimzed) таблиц в Greenplum, включая понимание ограничений колоночного формата хранения данных;
• Понимает различия между логическими моделями: звезды, снежинки и DataVault;

Мы предлагаем:

• Удалённая работа из РФ ;
• Работу без бюрократии и ненужных ритуалов. Мы работаем вместе, чтобы помочь вам реализовать ваши амбиции, а компании расти;
• ДМС: нам важно, чтобы наши сотрудники развивали свои компетенции и были здоровы;
• Невероятную корпоративную жизнь: от походов в музеи до совместных путешествий и rave-вечеринок;
• Гибкое время начала рабочего дня.