ETL/DWH-разработчик (удаленная работа)
(вакансия не опубликована)

Вакансия: ETL/DWH-разработчик

Описание вакансии

Приглашаем разработчика на проект Сбера, команда реализует изменения модели данных и автоматизирует поставку. Аналитик дорабатывает слои и витрины хранилища, тракты поставки и контроль качества, оптимизирует тяжёлые запросы. Отдельный фокус миграция логики с легаси-системы на 12 15 микросервисов.

Твои задачи:

• Реализовывать модель в Greenplum: DDL слоёв и витрин, distribution key, партиционирование, хранимые процедуры.
• Работать с PostgreSQL как с источниками и/или слоем хранения.
• Писать и оптимизировать SQL(GreenPlum): планы выполнения, партиции, дистрибуция.
• Разрабатывать DAG в Airflow под тракт поставки.
• Дорабатывать потоки стриминг-репликации в NiFi источник хранилище .
• Встраивать проверки качества и мониторинг по новым сущностям.
• Писать Python-скрипты для автоматизации (API, выгрузки, подготовка данных).
• Участвовать в миграции легаси-системы: пересборка слоёв и витрин.

Ждем от тебя:

• SQL любой сложности: оконные функции, хранимые процедуры, планы выполнения, партиции, дистрибуция.
• Опыт разработки и оптимизации в Greenplum и PostgreSQL.
• Опыт разработки DAG в Airflow.
• Опыт работы с NiFi (потоки загрузки/репликации), PythonGit / Bitbucket.
• Будет плюсом опыт с Oracle (на период вывода легаси-системы).
  
  Стек проекта:
• Greenplum и Oracle - основные СУБД под хранилищем.
• S3 - для хранения файлов и данных.
• Kafka, Airflow, NiFi - транспорт и оркестрация потоков (зона ответственности смежных команд, но нужно понимать, как работает).
• OpenMetadata - каталог метаданных (активно настраиваем и автоматизируем).
• Python - скрипты автоматизации: pandas, numpy, requests, sqlalchemy, boto3, плюс умение подбирать библиотеки под задачу.
• REST API - потребление (OpenMetadata, внутренние сервисы).
• Git/Bitbucket - базовый обмен скриптами: pull, push, commit.
• Jira и Confluence - управление задачами и документация.

Мы предлагаем:

• удаленный формат работы;
• ДМС с первого месяца работы (поликлиническое обслуживание, вызов врача на дом, услуги скорой помощи, экстренная госпитализация, вакцинация от гриппа, базовые услуги стоматологических клиник и психологическая поддержка, оформление международного страхового полиса);
• Ноутбук HP для работы;
• Обучение и участие в конференциях за счет компании, повышение квалификации в корпоративном университете Лиги;
• Участие не только в профильных профессиональных сообществах Лиги, но и сообществах по интересам (игры, спорт, хобби и т.п.).