Data Engineer (удаленная работа)

Вакансия: Data Engineer

Описание вакансии

Обязанности:

• Проектирование и построение архитектуры дата-платформы с нуля : слои данных стратегии обработки исторических изменений, медленно меняющиеся измерения;

• Разработка отказоустойчивых пайплайнов в Airflow: модульная структура, обработка частичных сбоев, параметризация, обеспечение идемпотентности;

• Построение системы качества данных: ожидания в dbt, профилирование, мониторинг аномалий, алертинг на отклонения;

• Оптимизация трансформаций под особенности PostgreSQL и ClickHouse (движки таблиц, агрегации, материализованные представления);

• Настройка интеграций с источниками через API: анализ структуры данных, проектирование схем выгрузки, обработка changelog;

• Управление данными в объектном хранилище MinIO: структура каталогов, политики доступа, инкрементальные загрузки;

• Формирование стандартов и практик: соглашения по именованию, структуре репозитория, подходам к тестированию и документированию;

Требования:

• Опыт проектирования и развёртывания дата-платформ от 3 лет;

• Опыт проектов с нуля до production;

• Глубокое понимание архитектурных паттернов: слойность, нормализация vs. денормализация, обработка исторических данных;

• Экспертное владение SQL с учётом специфики движков (ClickHouse MergeTree, PostgreSQL);

• Практический опыт с оркестрацией (Airflow): проектирование сложных DAG-ов, обработка ошибок, динамическая генерация задач;

• Опыт построения систем качества данных и наблюдаемости пайплайнов (мониторинг выполнения, логирование ключевых событий);

• Уверенная работа в Linux-среде: анализ логов, отладка пайплайнов, работа с файловой системой;

• Умение исследовать новые системы и проектировать интеграции без готовых коннекторов;

• Опыт с инструментами интеграции для ускорения подключения источников;

Условия:

• Большой уютный офис возле м. Киевская/удаленный формат;
• Развитая корпоративная культура;
• Индивидуальный план адаптации и куратор на период испытательного срока;
• IT аккредитация;
• Официальное трудоустройство по ТК РФ с первого дня;
• Вся необходимая техника для работы;
• Корпоративная мобильная связь;
• ДМС со стоматологией;
• Компенсация занятий в спортзале;
• Корпоративный учебный центр и компенсация внешних курсов для повышения квалификации;
• Скидки от Skyeng на изучение английского языка;
• Участие во внешних профессиональных мероприятиях и конференциях;
• Корпоративные скидки от компаний партнеров;
• Масштабные корпоративы и дружеские неформальные встречи внутри команд.