ETL / BigData-инженер (Data Engineer) (удаленная работа)

Вакансия: ETL / BigData-инженер (Data Engineer)

Описание вакансии

Группа компаний Специальные системы и технологии (ГК ССТ ) крупнейший в России и один из ведущих в мире производителей нагревательных кабелей, систем электрообогрева, специальной электротехники и взрывозащищенного оборудования.

Компания входит в тройку мировых производителей систем электрообогрева и занимается разработкой, проектированием, производством, поставкой, монтажом, а также дистрибуцией систем электрообогрева.

ООО "ДельтаПроект"(входит в ГК ССТ ) является аттестованной ИТ компанией и занимается поддержкой и развитием ИТ-инфраструктуры, разработкой программного обеспечения и цифровых продуктов, анализом и цифровизацией бизнес-процессов.

В нашу компанию мы приглашаем ETL / BigData-инженера (Data Engineer).

Наши требования:

• От 2 лет опыта в роли Data Engineer / ETL-разработчика;
• Уверенный SQL, опыт оптимизации запросов;
• Python на уровне продуктовой разработки пайплайнов;
• Опыт с Airflow (или аналогом оркестратора);
• Опыт работы с распределёнными фреймворками: Spark / Flink;
• Опыт работы хотя бы с одной MPP/аналитической БД: Greenplum, ClickHouse, Vertica, Snowflake, BigQuery.

Будет плюсом:

• Опыт с Kafka, Debezium, CDC-процессами;
• Опыт с Hadoop-экосистемой (HDFS, Hive);
• Опыт с dbt;
• Опыт с Kubernetes и IaC (Terraform);
• Понимание принципов Data Vault / Anchor Modeling.

Ключевой стек:

• Python, SQL, Airflow, Spark, Kafka, Greenplum / ClickHouse, Hadoop, Docker, Git.

Задачи:

• Разработка и поддержка ETL/ELT-пайплайнов из различных источников (БД, API, файлы, брокеры сообщений);
• Построение слоёв хранилища: RAW, ODS, DDS, витрины;
• Оптимизация производительности запросов и пайплайнов;
• Мониторинг, алертинг, обеспечение качества данных (Data Quality);
• Взаимодействие с аналитиками, DS и бизнес-заказчиками по требованиям к данным;
• Документирование пайплайнов и витрин.

Мы предлагаем:

• Работу в аккредитованной ИТ компании;

• Официальную заработную плату;

• Оформление по ТК РФ;

• График работы 5/2, формат работы обсуждается;

• ДМС после прохождения испытательного срока;

• Возможность карьерного и профессионального роста.