Вакансия: Data Engineer (Data Quality / DWH / Analytics)
Описание вакансии
Мы, WMT Group Аккредитованная IT-компания. Занимаемся как разработкой собственных продуктов на стыке ML и AI которые делают мир лучше, так и реализуем проекты разработки в крупных компаниях финтеха в формате outstaff. У нас колоссальный опыт в разработке продуктов различной сложности, но при этом, мы не только создаем код мы работаем с людьми.
Наша уникальность в том, что мы не просто IT-компания , мы пространство , в котором всегда будет чем заняться, чему научиться, с кем пообщаться, получить помощь и поддержку в любой ситуации, у нас реально работающая служба заботы!
Сейчас в один из наших проектов мы ищем Data Engineer с сильным аналитическим уклоном в команду развития витрин данных крупного банка.
Роль подойдет специалисту, которому интересно не только писать ETL, но и глубоко разбираться в данных: исследовать источники, проверять согласованность, искать причины дефектов и улучшать качество данных в витринах.
Команда работает с корпоративным DWH, банковскими данными и большими объемами информации. Основной фокус роли анализ данных, контроль качества и сопровождение витрин.
Мы сработаемся если есть:
- Понимание основных концепций DWH и ETL
- Отличное знание SQL
- Аналитический склад ума и внимательность к деталям
- Умение разбираться в структуре данных и искать причины расхождений
- Опыт работы с витринами данных или аналитическими хранилищами
- Базовое понимание работы Git
- Будет преимуществом опыт разработки на Python / Spark
- Опыт работы с Hadoop ecosystem
- Опыт работы с Hive / Impala / Spark / Airflow
- Опыт анализа качества данных и data lineage
- Понимание принципов версионности и историчности данных
- Опыт работы аналитиком витрин данных
Чем предстоит заниматься:
- Проверять качество данных в витринах команды
- Загружать, обрабатывать, сопоставлять и анализировать данные
- Исследовать источники данных, определять качество и согласованность данных
- Анализировать расхождения и искать причины ошибок в данных и ETL-процессах
- Проверять корректность логики в SQL/ETL-коде
- Работать с историчностью и версионностью данных
- Проводить анализ данных по нескольким витринам и системам
- Заводить инциденты на дефекты источников и контролировать их исправление
- Разрабатывать алгоритмы формирования атрибутов витрин и исправления ошибок
- Строить прототипы витрин по бизнес-требованиям
- Проверять качество данных в прототипах витрин
- Составлять и дорабатывать S2T mapping
- Формировать аналитические и статистические отчеты
- Поддерживать и развивать базу знаний команды
- Оказывать экспертную поддержку внутренним заказчикам и пользователям данных
- Большой объем аналитики и взаимодействия с данными
- Меньше конвейерной разработки, больше исследования, анализа и улучшения качества данных
Условия:
- Формат работы удаленный.
- Аккредитованная IT компания.
- Оформление по удобному формату сотрудничества ТК РФ/ГПХ/ИП.
- Минимум бюрократии и максимум мобильности и автоматизации.
- Комфортное HR сопровождение на всех этапах сотрудничества.
