Data Engineer (удаленно)
(вакансия в архиве)

Вакансия: Data Engineer (удаленно)

Описание вакансии

Аккредитованная ИТ компания, работающая на проектах крупного банка, ищет в команду Hadoop начинающего Data Engineer.

Вам предстоит разрабатывать системы управления потоками данных для финансового департамента. Реализовывать интеграцию с различными источниками данных. Использовать технологии и средства управления большими данными.

Основной технологический стек:
Hadoop - экосистема;
Scala - основной язык разработки;
Spark - фреймворк работы с данными;
PostgreSQL - основная база данных.

Ожидания от кандидата:
В/о по направлению дата инженерии;
Владение основами работы Hadoop ecosystem;
Владение одним из языков программирования jvm;
Знание основ работы с данными в том числе с SQL;
Понимание правил построения pipeline;
Понимаете работы парадигмы map-reduce.

Плюсом будет:
Опыт разработки со Scala;
Знания о работе Spark/Hive;
Уверенные знания и опыт работы с базами данных.

Предлагаем:
Погружение в технологии больших данных
Работа в стеке Scala+Spark с различными типами источников данных
Построение полноценных pipeline со сложной разветвленной структурой и параметризацией.
ТК, офис на выбор Москва или Нижний Новгород