Разработчик Spark (удаленная работа)

Вакансия: Разработчик Spark

Описание вакансии

Проект : Мы молодая, амбициозная команда, занимающаяся разработкой ETL-решений, для Корпоративно-Инвестиционного Бизнеса (Департамент Глобальных Рынков).

В настоящее время идет активная разработка по требованиям Этапа 1 - создания единого централизованного хранилища на платформе Hadoop. Мы используем широкий спектр современных технологий: фрэймворк на основе Apache Spark, облачные технологии и микросервисы для создания ETL процессов.

Требования: высшее образование

• Знание и опыт работы с Apache Spark (1 года).
• Опыт разработки ETL процессов приложений с использованием Apache Spark;
• Знание Java 8;
• Знание SQL. Умение писать и оптимизировать запросы к БД.
• Опыт работы с DWH, DataVault
• Опыт работы с Hadoop, HDFS, Hive
• Опыт разработки приложений с использованием Spring, Spring Boot. Понимание принципов работы;
• Знание технологий SQL, Hadoop, REST, XML, JSON, HTTP;
• Опыт разработки клиент-серверных приложений.
• Опыт работы с jira, confluence, Maven, git, Jenkins, Bitbucket, Sonar;
• Опыт проведения кодревью;
• Опыт написания модульных и интеграционных тестов (JUnit, Mockito)
• Понимание основных шаблонов проектирования и принципов ООП принципов построения ETL процессов;
• Умение оптимизировать и тестировать код;

Желательно :

• Опыт работы с ETL инструментами (Informatica PowerCenter, Microsoft SSIS, IBM DataStage и т.п.);
• Опыт проектирования микросервисной архитектуры;
• Знание других языков программирование (Scala, JavaScript, Kotlin, Python, );
• Опыт работы с Базами Данных (Oracle, PostgeSQL, NoSQL);
• Опыт работы с Apache Kafka, IBM MQ;
• Опыт работы с Tomсat, Jetty, WebSphere, Spring Boot;
• Опыт работы с OpenShift( Kubernetes) , Istio;
• Опыт работы с Nginx;

Задачи:

• Создание нового перспективного направления -создание единого централизованного многослойного хранилища BigData для всей экосистемы банка.
• Разрабатывать абсолютно новые сервисы, которыми будут обрабатывать огромные массивы данных;
• Глубоко погрузиться во все аспекты современных ИТ технологий (фронтальные и бэк системы, облачные технологии, интеграция с внешними и внутренними системами, Искусственный Интеллект и Большие Данные);
• Работать в Agile командах и применять самые современные методы разработки;

Условия :

• Возможность профессионального и карьерного роста в компании, возможность поучаствовать в разных проектах;
• Опыт работы в распределенной команде профессионалов;
• Уровень заработной платы обсуждается индивидуально;
• Возможность работать удаленно на территории РФ.