Data Engineer (удаленная работа)

Вакансия: Data Engineer

Описание вакансии

Обязанности:

• Разработка и поддержка единого хранилища мастер-данных (НСИ), обеспечение сквозной целостности справочников для всех отделов.
• Проектирование модели данных для консолидации информации из ERP, CRM, 1С, логистических и кадровых систем.
• Построение автоматизированных пайплайнов по сбору, очистке, трансформации и загрузке данных.
• Настройка мониторинга ETL-процессов с использованием метаданных для оперативного отслеживания аномалий и ошибок (рекомендация по внедрению).
• Внедрение правил дедупликации и валидации для поддержания высокого качества данных.
• Самостоятельное проектирование и создание интерактивных дашбордов и отчетов в BI-инструментах
• Визуализация ключевых метрик по направлениям: Логистика и закупки, Продажи, Производство, HR, Финансы, IT
• Формирование чистых размеченных датасетов на основе исторических данных для построения прогнозных моделей.
• Подготовка данных для оценки рисков, генерации рекомендаций и стратегий (в т.ч. с использованием ИИ на базе мастер-данных).
• Обеспечение пайплайна для выгрузки результатов моделей в витрины и отчеты.
• Настройка прав доступа к данным на уровне строк (RLS) согласно ролевой модели.
• Оптимизация производительности запросов для обеспечения быстрой работы дашбордов и отчетов.
• Резервирование и обеспечение бесперебойной работы хранилища данных.

Требования:

• Глубокое знание SQL (PostgreSQL, ClickHouse, T-SQL): написание сложных запросов с CTE, оконными функциями, хранимыми процедурами.
• Опыт оптимизации запросов: чтение планов выполнения, настройка индексов, работа с большими объемами данных (миллионы+ записей).
• Проектирование витрин данных и моделирование хранилищ (DWH) под конкретные бизнес-задачи.
• Разработка ETL/ELT-пайплайнов на Python (Pandas, SQLAlchemy, коннекторы к БД).
• Опыт оркестрации процессов: Apache Airflow проектирование DAG'ов, настройка расписаний, мониторинг выполнения.
• Автоматизация обновления витрин и отчетов с контролем ошибок.
• Разработка дашбордов в Power BI и/или Yandex DataLens (желательно знание обоих инструментов).
• Понимание принципов построения эффективных визуализаций: выбор типов графиков, работа с фильтрами, управление производительностью отчетов.
• Настройка алертинга (мессенджер, почта) при сбоях ETL и аномалиях в данных.
• Работа с метаданными для отслеживания происхождения данных (Data Lineage) и контроля качества.
• Опыт работы с MDM: понимание подходов к управлению нормативно-справочной информацией, дедупликация, валидация справочников.
• Data Science / ML: базовое понимание машинного обучения, умение готовить датасеты для моделей (feature engineering), опыт взаимодействия с Data Scientist'ами
• Системное мышление: видит картину целиком от источника данных до конечного пользователя.
• Проактивность: предлагает улучшения архитектуры и процессов, а не просто исполняет задачи.
• Самоорганизация: готов работать в новом формирующемся отделе, где процессы еще выстраиваются.
• Ориентация на результат: дашборды должны быть не "красивыми", а полезными и быстрыми.
• Английский язык на уровне чтения технической документации

Условия:

• Удаленный формат работы;
• График работы 5 2 с 8:00 - 16:30; 9:00 - 17:30;
• Возможность карьерного роста в современной,быстрорастущей компании.