Вакансия: Big Data Engineer (Clickstream)
Описание вакансии
Мы в поиске Middle Big Data Engineer в направление дата инжиниринга , который будет участвовать в разработке проекта Clickstream.
Ключевая задача: спроектировать и разработать дата-контур для построения различных Near Real Time отчетов и витрин данных, основанных на потоковых событийных данных ClickStream. Для этого требуется разработать потоки загрузки и обработки данных в ClickHouse.
Чем предстоит заниматься:
- Разрабатывать процессы по сбору, обработке и загрузке данных кликстрима;
- Спроектировать и реализовать схему хранения данных в Hadoop и Clickhouse;
- Собирать требования к данным от пользователей, строить мониторинг и data quality ;
- Решать задачи, связанные с внедрением облачной инфраструктуры;
- Создавать стабильные отказоустойчивые и масштабируемые аналитические сервисы;
- Анализировать и внедрять инструменты инжиниринга данных.
Мы ожидаем:
- Опыт работы с ClickHouse;
- Опыт работы со стеком Hadoop (YARN, HDFS, Hive);
- Опыт работы в Spark и Spark Streaming/Flink;
- Понимание инфраструктуры Apache Kafka;
- Владение одним из языков программирования (Java, Scala).
Будет плюсом:
- Опыт сбора и обработки требований;
- Опыт работы с Docker.
