Вакансия: Data Engineer (Дата-инженер)
Описание вакансии
DataOffice - это драйвер DataDriven культуры в Ростелекоме, один из лидеров отрасли управления данными в России. DataOffice объединяет 300 профессионалов в области ИТ-технологий.
Мы ищем в команду Разработчика Data Engineer DataOffice!
Проект :
- В ПАО Ростелеком используется порядка 1400 различных операционных систем-источников (с учетом разных инсталляций одной системы в разных макрорегиональных и региональных филиалах), решающих различные прикладные бизнес-задачи (выполнение бухгалтерских расчетов, биллинг, СЛТУ НЯ-аналитика и т.д.).
- Для обработки и анализа данных систем-источников сформировано 4 хранилища федерального уровня, кроме того, в каждом из макрорегиональных филиалов: построены свои локальные хранилища, локальные системы подготовки данных, дублирующие функционал хранилища, и подсистемы отчетности. Такое разнообразие потребителей данных вызывает кратные нагрузки на операционные системы, при этом модели одних и тех же данных могут кардинально отличаться между хранилищами, что влечет расхождение информации, различную интерпретацию данных коммерческих, финансовых, натуральных показателей. Кроме того, большое разнообразие моделей данных затрудняет получение консолидированной отчетности, когда нужна целостная картина о деятельности всей компании.
- Поэтому в 2018 был запущен амбициозный проект построение корпоративного хранилища данных, которое смогло бы объединить данные из всех систем-источников и локальных хранилищ данных и сделать их консистентными и удобными для построения консолидированной отчетности.
Чем предстоит заниматься:
- Создание и развитие систем класса DWH (Greenplum), MDM, НСИ, подключение новых источников данных, миграция нецелевых DWH (Oracle/PostgreS DB).
- Взаимодействие с бизнес-подразделениями в части выявления требований.
- Взаимодействие с командой разработки/тестирования, сопровождение процесса разработки и тестирования.
- Постановка задач ETL-разработчикам.
- Подготовка маппингов на разработку ETL-процессов.
- Описание и согласование с заказчиком алгоритмов получения данных.
- Проектирование моделей данных детального слоя хранилища и витрин (DataVault).
- Формирование тест-кейсов и стратегии тестирования.
- Реализация процессов DataQuality в DWH.
Что важно знать и уметь: - Опыт работы от 2 лет.
- Опыт работы в роли системного аналитика.
- Опыт работы в проектах построения информационных систем и хранилищ в качестве системного аналитика.
- Опыт разработки FSD, ТЗ, уверенное владение SQL на уровне запросов.
- Опыт разработки маппингов, понимание принципов ETL.
- Опыт подготовки Ad-hoc запросов по данным в БД.
- Знание MPP Greenplum, DataVault, Oracle, PostgreSQL, ClickHouse.
Мы предлагаем :
- Работа в крупнейшем в России интегрированном провайдере цифровых решений;
- Гибридный или удаленный формат работы;
- Кафетерий льгот: ДМС, компенсация транспорта, интернета, спорта, обучения и др.;
- Официальное оформление согласно ТК РФ (полный соц. пакет: ежегодный оплачиваемый отпуск 28 календарных дней, оплата больничных);
- Официальная заработная плата (оклад квартальная и годовая премии).
