Вакансия: Techlead/Senior Data Engineer
Описание вакансии
О проекте
Мы работаем над нашим собственным технологическим продуктом электронной торговой площадкой по государственным и корпоративным закупкам Фабрикант .
Мы ищем Ведущего инженера данных в команду, которая занимается развитием и поддержкой корпоративного хранилища данных (DWH) и аналитического модуля BI для нашей ЭТП.
Чем предстоит заниматься
-
разрабатывать дизайн, а также масштабируемую и расширяемую архитектуры данных;
-
собирать, анализировать и структурировать данные из самых разных источников: от нашей ЭТП до Единой информационной системы в сфере закупок и других систем;
-
проектировать и поддерживать структуру Корпоративного хранилища данных (DWH), тесно взаимодействуя с разработчиками, владельцами продуктов и ключевыми стейкхолдерами;
-
разрабатывать и оптимизировать ETL-пайплайны, чтобы данные текли быстро и без сбоев;
-
документировать бизнес-сущности в структуре DWH, создавая надёжный фундамент для аналитики.
Мы ожидаем
- опыт проведения code-review, развитие направления, внедрение паттернов и подходов разработки;
- аналитический склад ума: ты умеешь разбираться в больших объемах данных из разных источников и находить в них порядок;
- способность решать задачи с высоким уровнем абстракции от концепции до реализации;
- знание стандартов и моделей корпоративных хранилищ данных (Data Vault, Kimball, Anchor, Data Mesh и т.д.);
- уверенные навыки создания и оптимизации ETL-пайплайнов с использованием Apache Airflow, DAG или DBT;
- опыт разработки на Python и работы с библиотеками для трансформации данных: Pandas, NumPy, PySpark;
- умение подключаться к любым источникам: API, RDBMS, NoSQL, брокеры сообщений, CSV и текстовые файлы;
- отличное знание SQL: от подзапросов и объединений до агрегаций и аналитических функций.
Будет плюсом
- опыт с BI-системами (Qlik Sense, Power BI, Apache Superset) или популярными DWH-платформами;
- понимание специфики данных в сфере закупок (44-ФЗ, 223-ФЗ, коммерция) это даст тебе фору;
- работа в agile-командах у нас всё динамично и по делу;
- знакомство с крупными системами вроде Apache Hadoop или сложными ETL с фильтрациями и сигналами;
- глубокое понимание методологии и архитектуры Data Vault;
- опыт применения методик Data Quality в DWH;
- глубокое погружение в Data Vault или опыт внедрения методик Data Quality.
Став частью нашей команды, вы получите
