Анализ бизнес-требований и их трансформация в технические спецификации для DWH-проектов.
Проектирование и разработка архитектуры DWH-систем с учетом интеграции с внешними источниками данных.
Создание, оптимизация и выполнение SQL-запросов для эффективной обработки и анализа данных, прототипирование.
Организация потоковой передачи данных через брокеры сообщений, в частности, Kafka, и интеграция через REST API.
Проектирование, описание и поддержка ETL-процессов, включая использование Big Data технологий (Apache Spark, Apache Airflow).
Создание и ведение технической документации, описывающей процессы, архитектуру и спецификации решений.
Мониторинг производительности DWH-систем, анализ данных и оптимизация процессов для обеспечения стабильности работы.
Сотрудничество с межфункциональными командами для согласования технических решений с бизнес-требованиями и оперативного решения возникающих вопросов.
Требования:
Проведение системного анализа требований и проектирование архитектуры DWH-систем.
Разработка, оптимизация и поддержка SQL-запросов для обработки и анализа данных.
Интеграция с внешними системами через REST API для сбора и обмена данными.
Работа с брокерами сообщений, в частности, опыт использования Kafka для организации потоковой передачи данных.
Подготовка и ведение технической документации, включая спецификации, отчёты и инструкции.
Уровень junior: самостоятельное решение задач, участие в проектных обсуждениях и эффективное взаимодействие с командой.
Дополнительное преимущество: знание Big Data технологий, таких как Apache Spark для обработки больших данных и Apache Airflow для организации ETL-процессов.
