Data engineer (команда Data lake) (удаленная работа)

Вакансия: Data engineer (команда Data lake)

Описание вакансии

В команде Data Engineering уже более 30 профессионалов

Мы создаем хранилища данных и инструменты для их анализа и использования в аналитике, BI, ML. В связи с ростом компании и новыми задачами, мы ищем инженера в группу разработки и развития транспортировки данных. Между собой мы называем команду "Research & development" или просто RnD. Команда занимается исследованием и внедрением новых технологий, созданием инструментов для работы с данными, разрабатывает стандарты. наш фокус на Data Lake: загрузка данных из источников (API, Kafka, CDC, PostgreSQL, MySQL и другие), трансформация данных в табличный вид, разработка инструментов по транспортировке данных между аналитическими СУБД (Greenplum, ClickHouse) и S3.

Чем будем заниматься:

• дорабатывать Kafka Connect для задачи загрузки данных в Data Lake;

• разрабатывать, оптимизировать и мониторить ETL-процессы на основе технологий Airflow, S3, Greenplum, ClickHouse, используя Python и Spark (Scala);

• подключать новые источники к Trino;

• создавать инструменты для упрощения ETL разработки;

• развивать существующее CDC-решение на базе Debezium и Spark Streaming: улучшать мониторинг, автоматизировать то, что делается вручную;

• развивать практику использования Trino в компании;

• участвовать в разборах инцидентов по сервисам команды.

Мы ждём от кандидата:

• понимание принципов организации хранилищ данных, работы колоночных СУБД;

• уверенное знание SQL, Python;

• готовность изучать Spark (Scala);

• стремление обосновывать и документировать появляющиеся решения.

Будет плюсом, если ты:

• программировал на Scala / Java;

• знаешь фреймворки Apache Spark, Apache Airflow;

• работал с форматами iceberg, parquet, protobuf, avro;

• использовал Trino / Greenplum / ClickHouse;

• знаком с Kafka Connect.

Что интересного у нас есть:

• ДМС с первого месяца работы в компании;

• IT-ипотека и ипотека для сотрудников экосистемы Сбербанка;

• предоставляем множество корпоративных бонусных программ;

• работаем удаленно. В Москве есть большой и красивый офис, поэтому если ты из этого города или будешь проездом welcome;

• выдаем технику для работы на твой выбор;

• помогаем интеллектуально и физически развиваться (электронная библиотека, книжный клуб, футбол);

• уделяем большое внимание обучению сотрудников, поэтому в нашей knowledge base ты найдёшь много интересных курсов, книг и записей конференций, а также у нас есть выделенный бюджет на образование.

А ещё:

• мы сами участвуем в конференциях, как спикеры;

• пишем статьи на хабр;

• проводим внутренние митапы и дискуссионные клубы;

• не боимся экспериментировать с новыми решениями и технологиями;

• заботимся о сотрудниках: в компании есть команда счастья и корпоративные психологи для разговоров по душам.