Инженер данных / Data Engineer (удаленная работа)

Вакансия: Инженер данных / Data Engineer

Описание вакансии

Наши партнеры - крупнейшая компания FMCG в поиске Data Engineer

Инженер по обработке данных будет отвечать за прием, обработку и распространение данных, используемых бизнес-системами, управляемыми данными. Кроме того, инженер по данным будет обеспечивать разработку программного обеспечения и поддержку доставки продуктов для продуктов данных и групп продуктов.

Одним из направлений деятельности на этой должности будет проектирование, разработка и поддержка платформы производственных данных и домена данных как централизованного пространства для работы с данными (включая потоковую передачу) на основе облачных технологий на заводах.

Основные требования:

Обширный опыт предоставления решений по обработке данных для облачных приложений.

Понимание работы базы данных и принципов разработки DWH;

Понимание хранилищ данных, очистки данных, конвейеров данных и других аналитических методов, необходимых для использования данных.

Опыт работы с технологиями Hadoop (HDInsight, Spark, Hive, Scala и т. д.);

Хорошее знание SQL, Python/Scala или Java;

Опыт работы с Nifi, Kafka, Airflow, InfluxDB/Flux.

Опыт разработки потоковой передачи данных

Понимание технологии серверов ретрансляции KEP/OPC (OPC UA/DA, теги, именование, публикация) как плюс.

Опыт работы со стеком Yandex Cloud Platform/ Azure от 1 года;

инициативный человек, который приветствует ответственность, а также способность преуспевать в развивающейся организации и способность привносить структуру в неструктурированные ситуации.

Уровень английского языка средний или выше

Основные навыки:

Проектирование и разработка витрин данных;

Проектирование, разработка и поддержка процессов ETL для загрузки данных в/из Data Lake/Factory Data Platform;

Интегрировать новые источники в DataLake/DWH/Factory Data Platform;

Настройка и поддержка фильтрации, маршрутизации и очередей данных на платформе Factory Data Platform.

Настройка и поддержка пост-обогащения, преобразования и контекстуализации данных в Factory Data Platform.

Определение и поддержка политики хранения тегов/данных.

Контроль качества загружаемых данных (ручные и автоматические тесты DQ);

Написание документации;

Сотрудничайте с экспертами по данным и аналитике, чтобы улучшить функциональность наших продуктов для обработки данных.

Личностные характеристики:

• Аналитическое мышление
• Обучение на лету
• Может структурировать работу и расставлять приоритеты
• Увлечение бизнес-аналитикой и анализом данных.
• Самоорганизованная
• Открытость, умение работать в команде
• Умение видеть альтернативы
• Многозадачность
• Умение четко объяснять и отстаивать мнение

Мы предлагаем:

• Официальное трудоустройство в it-аккредитованную компанию;
• График работы 5/2;

• Работа в команде профессионалов в одной из крупнейших FMCG компаний;
• Полностью белая заработная плата;
• Удаленная работа.