Вакансия: Инженер данных
Описание вакансии
В аккредитованную ИТ компанию Коулмэн Тех в данный момент ведем подбор на вакансию "Инженер данных / Data Engineer".
Наши партнёры крупные FMCG компании.
О команде:
Цель команды Data Management внедрить процессы управления данными, а также практики и системы, которые позволят всей компании контролировать свои ресурсы в виде данных и управлять ими. Мы отвечаем за работу всего data-pipeline от исходной системы до отчета.
Основной фокус центральной команды направлен на разработку собственных дата-продуктов и развитие инженерной практики по работе с данными в компании.
Чем предстоит заниматься:
- разрабатывать и оптимизировать пайплайны обработки данных (как batch, так и streaming);
- интегрировать новые источники данных в Data Lake;
- участвовать в развитии фреймворка по качеству данных;
- проводить код-ревью.
Мы ожидаем:
- опыт работы от 2-х лет в аналогичной должности;
- опыт разработки пайплайнов обработки данных в Airflow;
- оптимизация Spark-приложений;
- понимание работы СУБД и принципы построения хранилищ данных;
- опыт работы с Hadoop (Spark, HDFS, YARN etc.);
- уверенное владеете Python(в приоритете)/Scala/Java, SQL;
- опыт работы с Kafka, Nifi;
- опыт оптимизации потребления ресурсов;
- готовность участвовать в развитии лучших инженерных практик внутри компании.
Условия, которые мы предлагаем:
- официальное трудоустройство по ТК РФ;
- работа в команде профессионалов в крупнейшей международной FMCG компании с развитыми корпоративными ценностями и стандартами;
- для работы выдаём корпоративный ноутбук;
- график работы: 08:00-17:00 (МСК), понедельник-пятница.
- формат: удалённая работа.
