Вакансия: Data engineer (senior)
Описание вакансии
Мы создаём высоконагруженный сервисный сайт, который занимает 3 место в мире по рейтингу SimilarWeb среди сайтов по поиску работы. Ежедневно к нам приходят около полутора миллионов пользователей, смотрят более 100 миллионов страниц (до 10000 в секунду), и делают около 1 миллиона откликов на вакансии. Мы хотим знать о всех действиях пользователя и понимать их поведение. Поэтому внедряем различные инструменты для сбора и анализа данных, и сейчас ищем человека, который будет развивать наше Data-направление.
Стек :
Apache Hadoop, Hive metastore, Spark, Flink, Kafka, Airflow, Trino
Инструменты :
Hue, Jupiter, Zeppelin, QueryBook, Jenkins, Forgejio, Jira
Задачи:
- Проектирование и реализация архитектуры хранения и обработки данных
- Оптимизация производительности и обеспечение надежности работы хранилища и процессов обработки данных
- Разработка и реализация новых инструментов
Необходимые знания и компетенции:
- Опыт построения ETL/ELT процедур
- Опыт работы с CDC, Apache Iceberg, DBT (как преимущество)
- Знание базовых алгоритмов и структур данных
- Понимание паттернов проектирования архитектуры хранилищ данных (Data Mesh, Data Fabric, Data Federation, DWH, LakeHouse)
- Понимание ООП, SOLID, unittests
- Уверенное знание Python
- Знание Java и опыт написания Flink Job (как преимущество)
- Продвинутый SQL
- Практический опыт работы с Spark, Airflow, Kafka
- Знание механизмов деплоя Airflow (Celery, k8s)
- Опыт работы c k8s
Мы предлагаем:
- Гибкое начало рабочего дня с 9 до 11.
- Можно работать удалённо из любой точки мира или посещать московский или региональные офисы.
- Современный технологический стек.
-
Возможность повлиять на выстраивание процессов.
-
Сможешь поучаствовать в проекте формирования семантического слоя данных.
-
ДМС со стоматологией с первого дня оформления.
-
4 day-off в году.
- Корпоративный сервис с поддержкой юриста, психолога и финансового консультанта.
- Промокоды и бонусы от партнеров.
- Электронная корпоративная библиотека.
- Возможность профессионального развития, обучение за счет компании, участие в специализированных конференциях.
- Комфортный большой офис в Москве с тренажерным залом, капсулой сна, свежими овощами/фруктами и бесплатными завтраками.
