31 октября 2024
Наши партнеры - крупнейшая компания FMCG в поиске Data Engineer
Инженер по обработке данных будет отвечать за прием, обработку и распространение данных, используемых бизнес-системами, управляемыми данными. Кроме того, инженер по данным будет обеспечивать разработку программного обеспечения и поддержку доставки продуктов для продуктов данных и групп продуктов.
Одним из направлений деятельности на этой должности будет проектирование, разработка и поддержка платформы производственных данных и домена данных как централизованного пространства для работы с данными (включая потоковую передачу) на основе облачных технологий на заводах.
Основные требования:
Обширный опыт предоставления решений по обработке данных для облачных приложений.
Понимание работы базы данных и принципов разработки DWH;
Понимание хранилищ данных, очистки данных, конвейеров данных и других аналитических методов, необходимых для использования данных.
Опыт работы с технологиями Hadoop (HDInsight, Spark, Hive, Scala и т. д.);
Хорошее знание SQL, Python/Scala или Java;
Опыт работы с Nifi, Kafka, Airflow, InfluxDB/Flux.
Опыт разработки потоковой передачи данных
Понимание технологии серверов ретрансляции KEP/OPC (OPC UA/DA, теги, именование, публикация) как плюс.
Опыт работы со стеком Yandex Cloud Platform/ Azure от 1 года;
инициативный человек, который приветствует ответственность, а также способность преуспевать в развивающейся организации и способность привносить структуру в неструктурированные ситуации.
Уровень английского языка средний или выше
Основные навыки:
Проектирование и разработка витрин данных;
Проектирование, разработка и поддержка процессов ETL для загрузки данных в/из Data Lake/Factory Data Platform;
Интегрировать новые источники в DataLake/DWH/Factory Data Platform;
Настройка и поддержка фильтрации, маршрутизации и очередей данных на платформе Factory Data Platform.
Настройка и поддержка пост-обогащения, преобразования и контекстуализации данных в Factory Data Platform.
Определение и поддержка политики хранения тегов/данных.
Контроль качества загружаемых данных (ручные и автоматические тесты DQ);
Написание документации;
Сотрудничайте с экспертами по данным и аналитике, чтобы улучшить функциональность наших продуктов для обработки данных.
Личностные характеристики:
Мы предлагаем: