Data Engineer Junior/Middle (удаленная работа)

Вакансия: Data Engineer Junior/Middle

Описание вакансии

Уважаемый кандидат!

Мы ищем талантливого Data Engineer, который будет работать над проектами по обработке и анализу больших данных, используя технологии Hadoop и связанные с ними инструменты. Если у вас есть страсть к работе с данными и вы хотите присоединиться к команде, которая строит масштабируемые решения для работы с Big Data, мы будем рады видеть вас в нашем коллективе!

Обязанности:

• Проектирование, разработка и поддержка масштабируемых систем для обработки больших данных на базе Hadoop.
• Построение эффективных ETL-процессов для интеграции и трансформации данных из различных источников.
• Оптимизация производительности и повышение эффективности Hadoop-кластеров.
• Работа с различными хранилищами данных (HDFS, Hive, HBase), настройка и управление их производительностью.
• Разработка потоковых и пакетных решений для обработки данных с использованием таких технологий, как Apache Spark, Kafka, Flume.
• Взаимодействие с аналитическими и бизнес-командами для определения и реализации требований к данным.
• Мониторинг, отладка и решение проблем с производительностью и стабильностью платформы.
• Поддержка существующих решений и участие в их модернизации с целью улучшения производительности.

Требования:

• Опыт работы в роли Data Engineer не менее от 1,5 года.
• Знания экосистемы Hadoop: HDFS, Hive, HBase, MapReduce.
• Опыт работы с распределёнными системами обработки данных, такими как Apache Spark, Flink или Storm.
• Опыт работы с инструментами для потоковой передачи данных (Kafka, Flume).
• Опыт разработки и поддержки ETL-процессов.
• Понимание принципов распределённого хранения и обработки данных.

Будет плюсом:

• Опыт работы с облачными платформами для хранения и обработки данных (AWS, Google Cloud, Azure).
• Знание NoSQL баз данных (Cassandra, MongoDB).
• Опыт работы с инструментами контейнеризации и оркестрации (Docker, Kubernetes).

Мы предлагаем:

• Возможность работы над масштабными и интересными проектами.
• Комфортные условия труда и гибкий график работы.
• Конкурентоспособную заработную плату и социальный пакет.
• Профессиональное развитие и участие в обучающих программах.
• Дружный коллектив и возможность обмена опытом с высококвалифицированными специалистами.

Будем рады оперативно рассмотреть ваше резюме!