Вакансия: Data Engineer
Описание вакансии
Мы в поиске middle/senior DE в команду, которая развивает мультиплатформенный аудиосервис на благо слушателя.
Чем нужно будет заниматься:
- участвовать в трансформации ETL из родного overnight batching в модный молодёжный realtime streaming;
- разрабатывать self-service инструменты платформы данных для реализации DataMesh;
- интегрировать хранилища, каталог данных, dbt, CDC движок, DQ, мониторинги и прочее;
- создавать пайплайны NRT обработки данных для аналитики и рекомендаций;
- подключать новые источники данных и интегрироваться в большую экосистему партнеров;
- внедрять Data Quality и лучшие практики работы с данными;
- обучать младших коллег, помогать аналитикам, продвигать лучшие практики работы с данными.
Мы ожидаем, что вы:
- имеете релевантный опыт работы от 3-х лет;
- имеете практический опыт создания ETL/ELT-процедур;
- отлично знаете Python и SQL;
- имеете практический опыт работы с Hadoop, Spark, AirFlow, Presto/Trino;
- работали с облачными сервисами, такими как AWS, Azure, Google Cloud.
- знаете что такое batching и streaming обработки данных и их различия;
- знакомы с kubernetes или docker и имеете опыт их использования в работе.
Будет плюсом:
- опыт работы с Ozone;
- опыт работы с Iceberg;
- опыт работы со streaming обработкой данных;
- знание Scala, опыт работы с Kafka и Flink;
- навыки работы с CDC;
- опыт управления командой дата-инженеров;
- опыт внедрения инструментов контроля качества данных;
- опыт создания self-service инструментов и платформенных решений;
- навыки успешного взаимодействия c data science командой.
