Senior Data Engineer (онлайн-кинотеатр КИОН)

Вакансия: Senior Data Engineer (онлайн-кинотеатр КИОН)

Описание вакансии

СЕЙЧАС МЫ В ПОИСКАХ DATA ENGINEER В КОМАНДУ ОНЛАЙН-КИНОТЕАТРА КИОН

Мы создаем оригинальный развлекательный контент и развиваем сервисы для просмотра фильмов и сериалов на любом устройстве.

Наша команда занимается внедрением lakehouse нового поколения, в котором мы разделяем compute от storage. Есть текущий проект с DWH в виде Greenplum и Hadoop который планируется перевести в поддержку.

ЧЕМ ПРЕДСТОИТ ЗАНИМАТЬСЯ

• Разрабатывать и проводить рефакторинг ETL/ELT пайплайнов на pyspark;

• Разарбатывать и поддерживать OLAP движков Starrocks/Clickhouse;

• Поддерживать текущие пайплайны на Greenplum и Hadoop;

• Осуществлять миграцию с HDFS на S3;

• Проводить оптимизацию Spark-приложений;

ЧТО ВАЖНО ДЛЯ ЭТОЙ ПОЗИЦИИ

• Опыт работы с Python от 3 лет;

• Глубокое знание SQL и опыт работы с большими данными;

• Опыт работы с Apache Airflow

• Опыт проектирования и разработки ETL/ELT процессов;

• Опыт работы с колоночными БД (ClickHouse);

• Знание принципов построения Data Warehouse и Data Lake;

• Понимание разницы между OLTP/OLAP системами;

• Уверенная работа c linux и git;

• Понимание процессов ci/cd;

ЧТО МЫ ПРЕДЛАГАЕМ

• Оклад + годовой бонус при выполнении KPI
• ДМС с первого месяца работы и страховка для поездок за границу
• Два дня в неделю можно работать удаленно: дома, в коворкинге, кафе или там, где хочется
• Современный офис в центре Москвы с собственным кинозалом
• Возможность участия в волонтерских программах: благотворительные ярмарки, образовательные проекты для детей, экологические проекты.
• Корпоративная программа ON Медиа Спорт : оплачиваем внешние спортивные забеги, марафоны, турниры по разным видам спорта