Проектирование базовой архитектуры платформы данных: слои STG DWH Data Marts по методологии Data Vault.
Построение отказоустойчивых конвейеров загрузки данных из внутренних систем (1С ERP, HR, финансы, производственные системы) и внешних источников.
Настройка в Apache Airflow оркестрации синхронизации платформы с источниками данных.
Выстраивание операционного взаимодействия с владельцами/поставщиками данных (схемы, интерфейсы, расписания, SLA).
Обеспечение качества данных: профилирование, валидаторы, контроль полноты и дубликатов.
Оптимизация производительности СУБД: PostgreSQL - партиционирование, индексы, анализ и тюнинг планов; при наличии ClickHouse партиционирование, TTL, распределённые запросы.
Организация доступа и безопасности: RBAC, аудит и анонимизация чувствительных данных.
Разработка и поддержка REST API для внешних систем подписчиков.
Выстраивание процессов CI/CD, мониторинг и журналирование, покрытие unit и integration тестами.
Ведение системной документации.
НАШИ ОЖИДАНИЯ:
Не менее 5-ти лет опыта в роли Data Engineer / ETL Engineer / DWH Engineer.
Не менее 3-х лет опыта разработки и поддержки хранилищ данных в PostgreSQL.
Не менее 3-х лет опыта построения ETL/ELT конвейеров на Python и SQL.
Не менее 3-х лет опыта разработки и эксплуатации сложных DAG ов в Apache Airflow.
Владение методологией Data Vault 2.0.
Знание принципов Clean Code и практик code review.
Опыт настройки и эксплуатации CI/CD для дата проектов.
Практики Data Cleansing и Data Governance.
Опыт юнит и интеграционного тестирования дата пайплайнов.
Опыт разработки и поддержки REST API;
Свободное чтение технической документации на английском.
Преимуществом будет:
Опыт 1+ год в ML: решение задач классификации на основании текста.
Опыт 1+ год с ClickHouse: моделирование данных и оптимизация запросов.
Опыт 1+ год с Elasticsearch: проектирования индексов, построение и оптимизация поисковых запросов по релевантности выдачи.
Опыт интеграции система 1С (С:Бухгалтерия, 1С:УПП, 1С:ERP) 1+ год.
МЫ ПРЕДЛАГАЕМ:
Комфортное рабочее место в офисе класса "А" в 10 минутах от станций метро ЦСКА.
Пятница сокращенный рабочий день до 16:45. Также доступен гибридный формат работы.
Годовой бонус за результативную работу.
Заботу о здоровье: страхование жизни и здоровья (ДМС).
Корпоративные и благотворительные мероприятия, участие в отраслевых и мировых конкурсах (AtomSkills, Человек Года), программы признания.
Профессиональное обучение в корпоративной академии, доступ к корпоративной библиотеке и обучающим платформам.
Понятный карьерный трек с возможностью профессионального и карьерного роста, карьерные консультации.
Спортивную жизнь: участие в корпоративных соревнованиях, ежегодная спартакиада, корпоративное приложение для спорта, а также наличие собственных корпоративных хоккейной и волейбольной команд, йога.
