Senior data engineer (команда Data lake) (удаленная работа)

22 ноября 2024

Уровень зарплаты:
з.п. не указана
Требуемый опыт работы:
Не указан

Вакансия: Senior data engineer (команда Data lake)

Описание вакансии

В команде Data Engineering уже более 30 профессионалов

Мы создаем хранилища данных и инструменты для их анализа и использования в аналитике, BI, ML. В связи с ростом компании и новыми задачами, мы ищем инженера в группу разработки и развития транспортировки данных. Между собой мы называем команду "Research & development" или просто RnD. Команда занимается исследованием и внедрением новых технологий, созданием инструментов для работы с данными, разрабатывает стандарты. Наш фокус на Data Lake: загрузка данных из источников (API, Kafka, CDC, PostgreSQL, MySQL и другие), трансформация данных в табличный вид, разработка инструментов по транспортировке данных между аналитическими СУБД (Greenplum, ClickHouse) и S3.

Чем будем заниматься:

  • развивать существующее CDC-решение на базе Debezium и Spark Streaming: улучшать мониторинг, автоматизировать то, что делается вручную;
  • разрабатывать, оптимизировать и мониторить ETL-процессы на основе технологий Airflow, Greenplum, ClickHouse, используя Python и Spark (Scala);
  • участвовать в исследованиях и принимать решения по использованию новых инструментов для обработки данных в компании;
  • развивать практику использования Trino в компании;
  • участвовать в разработке интеграции Trino с каталогом метаданных Datahub.

Мы ждём от кандидата:

  • понимание принципов организации хранилищ данных, работы колоночных БД;
  • уверенное знание SQL, Python;
  • готовность изучать Spark (Scala);
  • стремление обосновывать и документировать появляющиеся решения;
  • опыт работы с MPP системами;
  • понимание принципов CI/CD.

Будет плюсом, если ты

  • программировал на Scala / Java;
  • знаешь фреймворк Apache Spark, Apache Airflow;
  • умеешь оптимизировать вычисления в MPP системах;
  • работал с форматами iceberg, parquet, protobuf, avro;
  • использовал Trino / Greenplum / ClickHouse;
  • знаком с Kafka Connect.

Что интересного у нас есть:

  • ДМС с первого месяца работы в компании;
  • предоставляем множество корпоративных бонусных программ;
  • работаем удаленно: в Москве есть большой и красивый офис welcome;
  • выдаем технику для работы на твой выбор;
  • помогаем интеллектуально и физически развиваться (электронная библиотека, книжный клуб, футбол);
  • уделяем большое внимание обучению сотрудников, поэтому в нашей knowledge base ты найдёшь много интересных курсов, книг и записей конференций, а также у нас есть выделенный бюджет на образование.

А ещё:

  • мы сами участвуем в конференциях, как спикеры;
  • проводим внутренние митапы;
  • не боимся экспериментировать с новыми решениями и технологиями :)


Посмотрите похожие вакансии

Senior Data Engineer (команда RnD)
Компания: Купер
Зарплата: з.п. не указана
Senior Data Engineer
Компания: Ит-Финанс
Зарплата: от 350 000 до 450 000 руб.
Data Engineer (Senior)
Компания: LIAN
Зарплата: от 400 000 до 400 000 руб.