Data engineer в Сетку (удаленная работа)

Вакансия: Data engineer в Сетку

Описание вакансии

Мы ищем Data engineer в новую социальную сеть для нетворкинга от hh.ru, который будет выстраивать и развивать процессы обработки данных.

Стек:

• Ванильный Apache Hadoop последней версии
• Apache Airflow как основной оркестратор
• Apache Kafka для доставки данных, Flink для их обработки
• Spark 3
• Hive 3
• Trino

Обязанности:

• Разрабатывать и сопровождать решения для пакетной и потоковой выгрузки данных;
• Выстраивать и развивать процессы обработки данных в компании;
• Организовывать ETL/ELT процедуры;
• Совместно работать с дата саентистами и разработчиками над рекомендательной системой и продуктовой аналитикой.

Требования:

• Опыт построения ETL/ELT процедур;
• Знание базовых алгоритмов и структур данных;
• Уверенное знание Python (желательно pandas, numpy);
• Продвинутый SQL;
• Практический опыт работы со Spark, Airflow;
• Опыт работы с Java будет плюсом.

Мы хотим, чтобы каждый сотрудник был доволен своей работой, поэтому мы предлагаем:

• Гибкий график дома или в офисе.
• Корпоративный ДМС с первого месяца работы.
• Возможность профессионального развития, обучение за счет компании, участие в специализированных конференциях.
• Совместную постановку целей с руководителем и индивидуальный план развития.
• Кофемашина с зерновым кофе, чай, фрукты, йогурты на кухне.
• В офисе есть тренажеры, настольный теннис, кикер, пул, зона виртуальной реальности и массажные кресла.
• Куча корпоративных плюшек.