Вакансия: Senior ETL/DWH Developer
Описание вакансии
Мы ищем Senior ETL/DWH разработчика в команду Data Infrastructure в направление Marketing.
Задачи:
- Разработка и оптимизация архитектуры Хранилища данных, проектирование слоев данных;
- Создание, поддержка и оптимизация высоконагруженных ETL-процессов;
Интеграция данных из внутренних/внешних источников (API, файловые хранилища, БД); - Работа с BigData и стримингом;
- Коммуникация с бизнес-аналитиками и формализация требований, дата-инженерами и архитекторами;
- Проведение код ревью и шеринг экспертизы с коллегами(проведение митапов, техническая консультация).
Для этого тебе понадобится:
- От 4 лет опыта в разработке и поддержке хранилищ данных;
- Глубокие знания и практический опыт работы с Hadoop (HDFS, Hive, Spark);
- Отличные знания SQL, опыт оптимизации сложных запросов и работы с большими объёмами данных;
- Опыт проектирования и разработки ETL-процессов;
- Опыт разработки real-time и near real-time pipeline ов обработки/загрузки данных;
- Опыт работы с Airflow и Docker;
- Опыт работы с GIT;
- Уверенные знания Python;
- Уровень разговорного английского языка не ниже B1.
Будет плюсом:
- Настройка систем мониторинга процессов ETL;
- Знание основ Data Governance и compliance (GDPR);
- Опыт работы с DBT.
