Data Engineer (удаленная работа)

Вакансия: Data Engineer

Описание вакансии

Data Engineer

О проекте

Ищем Data Engineer в команду, которая строит и развивает платформу данных: от сбора и обработки до хранения и предоставления данных для аналитики, продуктовых команд и ML. Важно не просто писать запросы, а проектировать надёжные пайплайны с учётом SLA, качества данных и стоимости.

Чем предстоит заниматься

Проектировать и развивать ETL/ELT-пайплайны (batch и/или streaming);

Интегрировать данные из различных источников (БД, API, файлы, стримы);

Развивать слой хранения (DWH / Data Lake / Lakehouse, витрины данных);

Обеспечивать качество данных (валидации, мониторинг, алерты, SLA);

Оптимизировать производительность пайплайнов и запросов;

Работать с оркестрацией (Airflow или аналоги);

Обрабатывать ошибки и обеспечивать надёжность пайплайнов.

Ключевое стратегическое требование

Native-пользователь AI-инструментов обязательно.

Мы ищем специалиста, который ежедневно использует ИИ-инструменты в инженерной работе: для исследования решений, подготовки черновиков документации, анализа логов и инцидентов, генерации технических артефактов, автоматизации рутинных задач и ускорения операционной работы. Важно уметь:

• писать и поддерживать промпты / шаблоны ;
• вести библиотеку полезных артефактов и рабочих паттернов;
• выстраивать hybrid-workflow (человек + ИИ) с обязательным review результата;
• понимать риски LLM: галлюцинации, утечки, ограничения контекста и закладывать проверки и контроли качества в инженерные процессы.

Наши ожидания

Обязательно:

• Коммерческий опыт работы в Data Engineering от 4 лет;
• Сильный Python для разработки и поддержки data-пайплайнов;
• Глубокий SQL : сложные запросы, CTE, оконные функции, оптимизация;
• Опыт проектирования и поддержки ETL/ELT -пайплайнов в production;
• Понимание моделирования данных : DWH, витрины данных, star schema / snowflake;
• Опыт работы с оркестраторами : Airflow или аналогами;
• Опыт работы с аналитическими / колоночными БД ;
• Базовые инженерные практики: Git, Linux, Docker ;
• Понимание вопросов качества данных, SLA, мониторинга и обработки ошибок в пайплайнах.

Будет плюсом:

• Опыт работы со streaming: Kafka и другие стриминговые системы;
• Опыт работы со Spark / PySpark и другими Big Data-инструментами;
• Опыт работы с dbt;
• Опыт использования Terraform или других IaC-инструментов;
• Опыт построения Data Lake / Lakehouse;
• Опыт работы с инструментами Data Quality: Great Expectations и аналоги;
• Опыт работы с облачными платформами: AWS / GCP / Azure;
• Знание Scala или Java.

Этапы:

Скрининг (30 минут);

Техническое интервью (1 час 30 минут).

Условия :

Работу в аккредитованной IT-компании с сильной инженерной культурой;

Возможность не просто поддерживать инфраструктуру, а проектировать и развивать платформенные решения;

Конкурентный уровень дохода, обсуждаемый индивидуально по вашему опыту и экспертизе;

Гибкий график и полностью удалённый формат работы;

Высокий уровень автономности, минимум бюрократии и реальное влияние на архитектурные решения;

Сложные и интересные задачи с большими данными.