Data Engineer (удаленная работа)

Вакансия: Data Engineer

Описание вакансии

О проекте

Ищем Data Engineer в команду, которая строит и развивает платформу данных: от сбора и обработки до хранения и предоставления данных для аналитики, продуктовых команд и ML. Важно не просто писать запросы, а проектировать надёжные пайплайны с учётом SLA, качества данных и стоимости.

Задачи

Проектировать и развивать ETL/ELT-пайплайны (batch и/или streaming);

Интегрировать данные из различных источников (БД, API, файлы, стримы);

Развивать слой хранения (DWH / Data Lake / Lakehouse, витрины данных);

Обеспечивать качество данных (валидации, мониторинг, алерты, SLA);

Оптимизировать производительность пайплайнов и запросов;

Работать с оркестрацией (Airflow или аналоги);

Обрабатывать ошибки и обеспечивать надёжность пайплайнов;

Взаимодействовать с аналитиками, ML и продуктом.

Требования

Обязательно:

Уверенный коммерческий опыт Data Engineering от 4х лет;

Сильный Python;

Глубокий SQL (сложные запросы, оптимизация);

Опыт разработки ETL/ELT-пайплайнов;

Понимание data modeling (DWH / витрины);

Опыт с инструментами оркестрации (Airflow или аналоги);

Опыт работы с аналитическими БД;

Базовые практики разработки (Git, Docker, тестирование);

Понимание SLA, качества данных и обработки ошибок.

Будет плюсом:

Опыт со streaming (Kafka и др.);

Spark / Big Data инструменты;

dbt;

Data Quality инструменты (Great Expectations и др.);

Опыт построения Data Platform / Lakehouse;

Облачные платформы (AWS / GCP / Azure).

Этапы:

Скрининг (30 минут);

Техническое интервью (1 час 30 минут).

Условия:

Работа в динамичной IT-компании;

Возможности для роста в Data Engineering;

Дружная команда;

Конкурентная зарплата;

Гибкий график и удалённая работа;

Интересные задачи с большими данными.

Пожалуйста, прикрепите к отклику скрининг по требованиям: отметьте плюсы напротив навыков, которыми вы владеете, и минусы напротив тех, которых у вас нет. Это поможет улучшить и ускорить рассмотрение отклика.

Например:

Уверенный коммерческий опыт Data Engineering от 4х лет; +

Сильный Python; +

Глубокий SQL (сложные запросы, оптимизация); + и тд.