Инженер данных/Data Engineer (удаленная работа)

Вакансия: Инженер данных/Data Engineer

Описание вакансии

Обязанности:

• Проектирование и разработка витрин данных;
• Проектирование, разработка и поддержка процессов ETL для загрузки данных в/из Data Lake/Factory Data Platform;
• Интеграция новых источников в DataLake/DWH/Factory Data Platform;
• Настройка и поддержка фильтрации, маршрутизации и очередей данных на платформе Factory Data Platform.
• Настройка и поддержка пост-обогащения, преобразования и контекстуализации данных в Factory Data Platform.
• Определение и поддержка политики хранения тегов/данных.
• Контроль качества загружаемых данных (ручные и автоматические тесты DQ);
• Написание документации;

Требования:

• Обширный опыт предоставления решений по обработке данных для облачных приложений;
• Понимание работы базы данных и принципов разработки DWH;
• Понимание хранилищ данных, очистки данных, конвейеров данных и других аналитических методов, необходимых для использования данных.
• Опыт работы с технологиями Hadoop (HDInsight, Spark, Hive, Scala и т. д.);
• Хорошее знание SQL, Python/Scala или Java;
• Опыт работы с Nifi, Kafka, Airflow, InfluxDB/Flux;
• Опыт разработки потоковой передачи данных
• Опыт работы со стеком Yandex Cloud Platform/ Azure от 1 года;
• Понимание технологии серверов ретрансляции KEP/OPC (OPC UA/DA, теги, именование, публикация) как плюс.
• Уровень английского языка средний или выше

Условия:

• Оформление по ИП;
• Долгосрочная перспектива;
• Удаленный формат работы ;
• Гибкое начало и окончание рабочего дня;
• Белая заработная плата;
• Возможность развития и профессионального роста.