ETL-разработчик (удаленная работа)

18 октября 2024

Уровень зарплаты:
от 250 000 до 350 000 руб.
Требуемый опыт работы:
Не указан

Вакансия: ETL-разработчик

Описание вакансии

A17 системный интегратор с фокусом в аналитике и управлении данными.

Мы работаем в трех направлениях:

1. Автоматизация управленческой отчетности (BI) в среднем и крупном бизнесе.

Строим хранилища данных, настраиваем сбор и интеграцию, разрабатываем отчеты и дэшборды. Наш стек в BI включает все современные инструменты, в том числе open-source ПО.

2. Заказная разработка аналитических систем.

Когда у нашего клиента есть специфичный запрос, мы разрабатываем аналитические системы с нуля. Часто применяем подходы BigData, Data Science, актуальные подходы к программному анализу данных и прогнозированию.

3. Запуск и ресурсное обеспечение команд разработки в комплексных проектах цифровой трансформации.

Мы усиливаем команды наших партнеров и клиентов собственными сотрудниками и обеспечиваем максимально быстрый старт новых проектов.

Среди наших заказчиков -- крупные системные интеграторы, банки, нефтегазовые, химические производства, логистические компании, стартапы.

Сейчас мы приглашаем опытного Data Engineer/разработчика ETL для участия в проектах

Обязанности:

  • Совместная работа с DBA-архитектором на проектах;
  • Организация ETL-процессов выгрузки данных Apache Hudi таблиц из S3 в ODS-слой на Greenplum;
  • Разработка трансформации данных ODS-слоя в DDS-слой;
  • Имплементация различных CDC-методов (инкрементальный JOIN с двумя наборами данных, вычисление хэша с последующим diff);
  • Разработка plpgsql-функций или аналогичной логики на Spark для трансформации данных, на основе логике существующего Python/T-SQL кода (MSSQL);
  • Разработка ad-hoc аналитических запросов под PostgreSQL/Greenplum;
  • Разработка DataQuality-тестов на скриптовом ETL (Pyhon, Java или Scala);
  • Работа с AirFlow-операторами, разработка DAGs;
  • Установка и эксплуатация ADB (Greenplum);
  • Мониторинг и поиск проблемных мест при эксплуатации ADB (Greenplum)

Требования:

  • Понимание различий PostgreSQL & Greenplum;
  • Понимание механизма работы QE/QD (query executor & query dispatcher), и как исполняется SQL-запрос в Greenplum-кластере, включая планы запросов (redistribute, broadcast, gather motions);

  • Понимание механизма дистрибьюции данных на сегмент-инстансах Greenplum, и как исправлять перекосы данных (skews);

  • Понимание разницы механизмов работы Heap & AOP (append-optimzed) таблиц в Greenplum, включая понимание ограничений колоночного формата хранения данных;

  • Понимание различий между логическими моделями: звезды, снежинки и DataVault;

  • Опыт с технологическим стеком: Greenplum, PXF, gpfdist, AirFlow, Spark.

Мы предлагаем:

  • Участие в интересных масштабных проектах с Заказчиками федерального и международного уровня
  • Работа с передовыми технологиями
  • Возможности профессионального и карьерного роста
  • Форма трудоустройства на ваш выбор: по договору оказания услуг с ИП или самозанятым
  • Регулярная и достойная оплата труда
  • 100% удаленный режим

Обратите внимание, нам нужны опыт ные специалисты! Мы с уважением относимся к желающим попробовать себя в ИТ, но не готовы рассматривать на эту позицию кандидатов без подтвержденного профильного опыт а.



Посмотрите похожие вакансии

Разработчик BI
Компания: DataPipeline.Pro
Зарплата: от 80 000 до 200 000 руб.
Senior ETL-разработчик
Компания: АФЛТ-Системс
Зарплата: з.п. не указана