Data Engineer (Инженер по данным) (удаленная работа)

Вакансия: Data Engineer (Инженер по данным)

️ Купибилет – travel-tech компания по поиску и продаже авиабилетов. Мы являемся лидерами по объемам продаж в России. Через наш сайт и приложения ежемесячно более 2 млн человек бронирует билеты по всему миру.

В настоящий момент мы переезжаем на новую аналитическую инфраструктуру и новые подходы к обработке данным. Для ускорения этого процесса, мы находимся в поиске инициативного и самостоятельного инженера по данным, который внесет свой вклад в модернизацию фундамента аналитики в компании.

Список основных технологий:

• В качестве основного хранилища данных используем ClickHouse;


• Используем Metabase в качестве основного средства визуализации. Также есть Redash для внутренних нужд;


• Данные доставляем в хранилище посредством Airflow и Kafka.

Чем тебе предстоит заниматься:

• Принимать архитектурные решения при разработке систем хранения, обработки, валидации и представления данных;


• Создавать и поддерживать витрины данных;


• Оптимизировать существующие потоки данных;

Примеры проектов, запланированных на 2022 год:

• Настроить валидацию качества данных аналитики в реальном времени;


• Разработать динамически формируемые запросы для финансовых отчетов и продуктовых воронок;


• Перевести сбор поведенческой аналитики на Kafka;


• Разработать систему обогащения и денормализации данных.

Мы ищем дата-инженера, который:

• Имеет опыт работы на аналогичной позиции от 2 лет;


• Имеет опыт коммерческой разработки на Python и/или Java / Scala, а также взаимодействия со средой Docker / Kubernetes;


• Умеет проектировать и разрабатывать ETL-процессы (пакетные и потоковые).


• Умеет составлять и оптимизировать SQL запросы, разрабатывать витрины данных;


• Уверенно владеет работой со Spark, Kafka, Airflow, S3;


• Знает английский язык на уровне понимания технической документации и статей;


• Стремится непрерывно развиваться, искать и пробовать новые инструменты, подходы и методы.

Будет преимуществом:

• Опыт работы с ClickHouse, Apache Flink, Apache Ignite