Senior/Middle Data Engineer (удаленная работа)

23 декабря 2024

Уровень зарплаты:
з.п. не указана
Требуемый опыт работы:
Не указан

Вакансия: Senior/Middle Data Engineer

Описание вакансии

Медиапоинт - digital-платформа игровой тематики. Мы работаем не только на территории России, но и на международном рынке.

В нашу молодую и дружную команду ищем Senior/Middle Data Engineer !

В ваши задачи будет входить:

  • Проектирование и разработка высокопроизводительных data pipelines с использованием Apache Kafka и Apache NiFi для обработки и интеграции данных в режиме реального времени;
  • Настройка и управление оркестрацией ETL/ELT процессов с помощью Apache Airflow и dbt;
  • Оптимизация и поддержка реляционных баз данных (Postgres/MySQL) и аналитических хранилищ данных, таких как Clickhouse;
  • Управление хранилищами данных и системами для работы с большими данными (такими как, S3/Minio) и их интеграция с системами анализа данных, такими как Apache Spark;
  • Автоматизация задач мониторинга и обеспечения надежности потоков данных;
  • Работа над повышением производительности и надежности процессов обработки данных с учетом требований безопасности и отказоустойчивости;
  • Взаимодействие с командами разработки и аналитики для обеспечения бесперебойного доступа к данным;
  • Разработка и внедрение стратегий по управлению данными, их качества и доступности;

Что мы от вас ожидаем:

  • Отличное знание SQL, Python;

  • Опыт работы с потоковыми платформами, такими как Apache Kafka;

  • Глубокое понимание и опыт работы с Apache NiFi для построения потоков данных и управления интеграцией;

  • Знание систем оркестрации процессов, таких как Apache Airflow, и инструментов трансформации данных, таких как dbt;

  • Хорошее знание реляционных баз данных (Postgres, MySQL) и аналитических хранилищ данных, таких как Clickhouse;

  • Опыт работы с системами хранения данных, такими как S3/Minio или HDFS, и инструментами для работы с большими данными, такими как Apache Spark, Flink;

  • Опыт создания и поддержки ETL/ELT процессов в production среде;

  • Знание принципов построения отказоустойчивых и масштабируемых систем для работы с большими объемами данных;

  • Опыт настройки и оптимизации производительности баз данных и хранилищ данных;

  • Приветствуется опыт работы с CI/CD для автоматизации процессов обработки данных;

Что мы можем предложить:

  • Возможность полностью работать удаленно из любой точки мира или в офисе (Москва, Кипр) для желающих поработать в формате коворкинга или с закрепленным рабочим местом;

  • Оформление в штат компании и не только;

  • Возможность получать зп в любой валюте;

  • Плавающее начало дня, 8 часов рабочий день;

  • Разнообразные корпоративные программы.



Посмотрите похожие вакансии

Senior/Middle Data Engineer
Компания: ИЦ АЙ-ТЕКО
Зарплата: з.п. не указана
Data Engineer/ Дата-инженер (Middle+/Senior)
Компания: Secreate
Зарплата: з.п. не указана
Middle/Senior Data Engineer MTC CRM Data
Компания: МТС
Зарплата: з.п. не указана
Data Engineer
Компания: GetMeGit
Зарплата: от 150 000 до 300 000 руб.