Data Engineer (Middle / Senior) (удаленная работа)

Вакансия: Data Engineer (Middle / Senior)

Описание вакансии

Ожидания от кандидата:

• коммерческий опыт работы Data Engineer от 2 3 лет (для Senior от 4 5 лет) ;

• уверенное владение SQL :

  • сложные запросы, CTE, оконные функции;

  • оптимизация под большие объёмы данных;

  • чтение и анализ планов выполнения запросов (EXPLAIN);

• опыт разработки и сопровождения ETL / ELT-процессов в продуктивной среде;

• практический опыт работы с Big Data-стеком :

  • Hadoop, HDFS;

  • Spark (PySpark / Spark SQL);

  • Hive или аналогичные хранилища;

• опыт оркестрации пайплайнов в Apache Airflow (DAG и, retries, SLA, backfills);

• уверенное владение Python :

  • использование Python как инструмента ETL;

  • pandas / numpy для аналитики и трансформаций данных;

• опыт работы с реляционными БД (PostgreSQL, Oracle, MySQL, Greenplum и др.);

• понимание принципов построения DWH / Data Lake / Lakehouse ;

• умение работать с Git (CLI, ветвление, merge);

• опыт работы в Linux / Unix -среде;

• умение читать и использовать архитектурные схемы , работать с технической документацией;

• опыт взаимодействия с аналитиками, DWH-разработчиками, DevOps и смежными командами.

Будет плюсом:

• опыт работы с MPP-БД (Greenplum, ClickHouse, Teradata, StarRocks);

• опыт разработки на Java / Groovy ;

• опыт работы с Docker / Kubernetes ;

• опыт настройки CI/CD (Jenkins, GitLab CI, CircleCI);

• опыт внедрения Data Quality (DQ) -проверок;

• понимание принципов data governance и data security;

• опыт работы с облачной инфраструктурой (AWS: S3, Glue, Lambda и аналоги);

• опыт работы с API (REST, gRPC);

• технический английский (чтение документации, коммуникация).

Ключевые задачи:

• разработка, развитие и поддержка ETL / ELT-пайплайнов ;

• автоматизация загрузки, трансформации и доставки данных;

• оптимизация SQL-запросов и Spark-джоб под большие объёмы данных;

• мониторинг и поддержка продуктивных процессов, разбор инцидентов;

• участие в проектировании и развитии архитектуры хранилищ данных;

• взаимодействие с аналитиками и командами DWH;

• участие в улучшении качества данных (DQ-контроли, валидации);

• ведение и актуализация технической документации;

• для уровня Senior:

  • участие в архитектурных решениях;

  • код-ревью и менторинг инженеров данных;

  • развитие инженерных практик и процессов внутри команды.

Условия:

• работа на крупных проектах ведущих компаний-брендов страны;
• заработная плата обсуждается по результатам технического собеседования;
• гибкий подход к месту работы: удаленно, в офисе, гибридно.
• компания аккредитована Минцифры РФ.