Data Engineer Senior (удаленная работа)

Вакансия: Data Engineer Senior

Описание вакансии

Вам предстоит:

Data Warehouse:

• Проектирование и построение DWH в ClickHouse с нуля: схемы, партиционирование, TTL, материализованные представления;
• Подключение всех источников данных компании: CRM, сайт, колл-трекинг, 1С, СОД, ERP 100% покрытие к концу Фазы 1;
• Стандартизация форматов данных между разными системами единая модель для аналитики и ML;
• Управление версионированием схем базы данных, миграции без потери данных;
• Оптимизация запросов: индексы, первичные ключи, профилирование медленных запросов.

ETL-пайплайны:

• Разработка и поддержка ETL-пайплайнов на Python (pandas, polars) для всех 12 бизнес-блоков;
• Оркестрация пайплайнов через Apache Airflow: расписания, зависимости, алерты при падениях;
• Обработка ошибок, идемпотентность загрузок данные не должны дублироваться или теряться;
• Инкрементальная загрузка: только изменившиеся данные, без полной перезаписи;
• Мониторинг свежести данных: алерт если данные не обновлялись дольше порога.

Парсинг и внешние источники:

• Мониторинг новых ПД в строительной отрасли;
• Сбор цен на строительные материалы с сайтов поставщиков для Департамента закупок;
• Playwright / Scrapy для сайтов с динамическим рендерингом (SPA, JavaScript-сайты);
• Работа с API: HH.ru, Битрикс24, Telegram Bot API, Perplexity подключение новых источников по запросу.

Интеграции:

• REST API интеграции с корпоративными системами: CRM, ERP, HR-система, СОД;
• Webhooks приём событий в реальном времени из внешних систем;
• Разработка и документирование внутренних API для доступа к данным DWH;
• Управление доступами к данным совместно с MLOps: RBAC на уровне таблиц и схем.

Качество данных:

• Настройка валидации данных на входе: типы, диапазоны, обязательные поля;
• Мониторинг аномалий в данных: выбросы, пропуски, несоответствия между источниками;
• Документирование источников, форматов и логики трансформаций (data lineage);
• Сверка данных между системами: BI vs БДР расхождения должны стремиться к нулю.

Документация и процессы:

• Документирование всех пайплайнов: источник трансформация назначение;
• Runbook'и для команды: как добавить новый источник, как откатить миграцию, что делать при инциденте;
• Участие в техническом планировании совместно с ML Engineer: какие данные нужны для модели и в каком формате.

Наши ожидания:

• ClickHouse продакшн опыт: проектирование схем, оптимизация запросов, партиционирование;
• Python ETL pandas, polars: трансформации, очистка, дедупликация данных;
• Apache Airflow реальный опыт в проде: DAG'и, операторы, мониторинг задач;
• SQL продвинутый оконные функции, CTE, аналитические запросы, оптимизация;
• REST API интеграции подключение внешних систем, обработка авторизации (OAuth2, API Key);
• Scrapy / Playwright парсинг сайтов, в том числе с динамическим рендерингом;
• Понимание моделей данных: звезда, снежинка, Data Vault когда что применять;
• Linux администрирование, cron, работа с файловой системой и сетью;
• Понимание моделей данных: когда нужна нормализация, когда денормализация под аналитику;
• Понимание 152-ФЗ какие данные являются ПДн, что нельзя передавать во внешние сервисы;
• Скорость: ad-hoc аналитический запрос + вывод за 2 4 часа критично для бизнес-блоков.

Дополнительно:

• Kafka / RabbitMQ потоковая обработка событий в реальном времени;
• dbt трансформации данных внутри DWH, тестирование моделей;
• PostgreSQL опыт как дополнение к ClickHouse для транзакционных данных;
• Docker контейнеризация пайплайнов для деплоя через MLOps;
• Yandex Cloud Object Storage, Managed ClickHouse, DataLens.

В Dogma Вас ждут:

• Работа в крупном строительном холдинге федерального уровня;
• Официальное оформление по ТК РФ с первого рабочего дня (стабильная белая заработная плата с выплатами 2 раза в месяц, оплата больничных листов, ежегодные отпуска);
• График работы 5/2 с 09.00 до 18.00;
• Корпоративная программа лояльности для сотрудников Best Benefits скидки от партнёров;
• Скидки для сотрудников на приобретение недвижимости компании от 4% до 7%;
• Всё для эффективной и качественной работы: профессиональная техника, мобильный телефон и корпоративная сотовая связь;
• Возможность обучения и развития в рамках корпоративного университета компании (тренинги, мастер-классы, онлайн-обучение);
• Корпоративные подарки детям сотрудников к Новому году и объединяющие корпоративные мероприятия;
• Корпоративные тренировки по волейболу и футболу;
• Безграничные возможности кросс-функционального взаимодействия и участия в крупных проектах для расширения профессиональной экспертизы;
• Отличная команда профессионалов с комфортной и дружелюбной рабочей атмосферой.