Мы ищем опытного Senior Data Engineer , который присоединится к нашей дата-команде и поможет нам построить надежную, масштабируемую инфраструктуру данных на базе Snowflake и AWS. Вы будете проектировать и поддерживать конвейеры данных (data pipelines), отвечать за слой трансформации на DBT, а также тесно сотрудничать с аналитиками из отделов маркетинга, продукта и других бизнес-направлений, чтобы превращать сырые данные в хорошо структурированные и надежные дата-продукты. Вы начнете с полного ведения потока маркетинговых данных и будете расширять зону ответственности по мере роста покрытия данных в компании. Чем вы будете заниматься: Моделирование и трансформация данных:
Создавать и поддерживать модели DBT в Snowflake проектировать слоистую архитектуру (staging, intermediate, marts), писать тесты качества данных (с использованием Elementary).
Писать чистый, хорошо структурированный код на Python и SQL; участвовать в код-ревью и помогать определять инженерные стандарты для дата-команды.
Конвейеры данных (pipelines) и инфраструктура:
Проектировать и поддерживать конвейеры данных с использованием Airflow (DAG на Python).
Управлять интеграциями данных через Airbyte начиная с маркетинговых источников (GA4, Facebook Ads, TikTok Ads) и со временем расширяя пул на другие потоки.
Использовать AWS S3 в качестве основного слоя хранения управлять бакетами, партиционированием и контролем доступа.
Отвечать за CI/CD конвейеры для рабочих процессов с данными автоматизированное тестирование, развертывание и мониторинг.
Мониторить качество данных и надежность пайплайнов; проактивно выявлять и устранять проблемы до того, как они дойдут до конечных потребителей.
Тесно сотрудничать с аналитиками для понимания их потребностей в данных и перевода их в хорошо смоделированные наборы данных (datasets).
Закрывать пробел между сырыми данными и готовыми таблицами для аналитиков создавать понятные модели, чтобы аналитики могли работать самостоятельно.
Наш идеальный кандидат обладает:
Опытом построения продакшен-пайплайнов данных от 4 лет.
Сильным практическим опытом работы со Snowflake и DBT (модели, тесты).
Продвинутым уровнем SQL вы пишете на нем бегло и умеете оптимизировать запросы при необходимости.
Уверенным владением Python для разработки Airflow DAG и ETL-процессов.
Базовыми знаниями AWS (S3, IAM на уровне, достаточном для самостоятельной работы).
