Senior Data Engineer (удаленная работа)

14 октября 2024

Уровень зарплаты:
от 450 000 до 450 000 руб.
Требуемый опыт работы:
Не указан

Вакансия: Senior Data Engineer

Описание вакансии

Наш партнер аккредитованная ИТ-компания. Основной цифровой партнер одного из ведущих отечественных DIY-ритейлеров и поставщика строительных материалов.

Стек:

ClickHouse, Pythоn, SQL, AirFlow, Spark, Apache Kafka, Yandex Cloud, Big Data, Kubernetes, FastAPI Flask API, Java

Задачи:

  • Создание хранилищ данных на базе ClickHouse.
  • Разработка ETL-процессов.
  • Написание, оптимизация и профилирование SQL/NoSQL запросов.
  • Расчет сложных аналитических показателей в витринах данных.
  • Настройка ClickHouse (шардинг, репликация), включая взаимодействие с Kafka (попадание сырых данных, решение возможных проблем с очередностью сообщений, валидностью данных).
  • Участие в тестировании потоков с целью обеспечения их стабильной работы.
  • Написание backend сервисов на Java.
  • Участие в разработке архитектуры, процессов и инструментов для работы с данными.
  • Обеспечение контроля качества данных, мониторинг, анализ и устранение проблем с качеством данных.

Требования :

  • Опыт работы с ClickHouse.
  • Знание брокеров сообщений (Kafka).
  • Опыт работы с Kubernetes проектами.
  • Владение языком программирования Java.
  • Участие в проектах по созданию DWH, Data lake.
  • Опыт построения и развития высоконагруженных систем.

Условия:

  • Официальное трудоустройство в аккредитованную ИТ-компанию со всеми льготами.
  • Забота о здоровье: врач в офисе, полис ДМС через 3 месяца.
  • Оплата обучения и участия в конференциях.
  • Йога в офисе, команды по баскетболу, волейболу, футболу.
  • Насыщенная корпоративная жизнь.
  • График работы: 5/2, удаленный формат работы, можно работать из любой комфортной точки или из нашего офиса в Санкт-Петербурге.


Посмотрите похожие вакансии

Senior data engineer (команда Data lake)
Компания: Ecom.tech
Зарплата: з.п. не указана
Senior Data Engineer
Компания: Оператор Газпром ИД
Зарплата: з.п. не указана
Senior Data Engineer (Удаленно)
Компания: Холдем
Зарплата: з.п. не указана
Senior Data Engineer
Компания: Ит-Финанс
Зарплата: от 350 000 до 450 000 руб.