Вакансия: Архитектор DWH
Описание вакансии
Мы предлагаем работу на крупных проектах у федеральных заказчиков.
Эксперт РП это команда по привлечению внештатных ИТ- экспертов и обучению проектных команд. Мы специализируемся во внедрении, развитии и поддержке решений SAP, интеграции с другими системами и разработкой микро-сервисных приложений.
Наши партнёры реализуют проекты в области финтеха, банкинга, добывающей и обрабатывающей промышленности, нефти и газа, энергетики.
Приглашаем на проект:
Архитектора DWH
Отрасль проекта: металлургическая
Требования к кандидату:
Общие требования от 5 лет опыта в области проектирования и разработки архитектуры хранилищ данных (DWH).
Образование: Высшее образование в области информационных технологий, компьютерных наук или смежных областях.
Технические навыки
- Базы данных и хранилища данных - Greenplum: - Углубленные знания архитектуры Greenplum. - Опыт настройки и оптимизации производительности Greenplum. - Опыт работы с SQL для написания сложных запросов.
- Языки программирования - Python: - Уверенное владение Python для разработки ETL/ELT процессов. - Опыт работы с библиотеками для обработки данных, такими как Pandas, NumPy.
- Инструменты потоковой обработки данных - kafka: - Знание принципов работы kafka и его экосистемы. - Опыт настройки и интеграции kafka в архитектуру DWH.
- Оркестрация процессов - Aiflow: - Опыт использования Apache Airflow для автоматизации ETL процессов. - Знание принципов DAG (Directed Acyclic Graph) и их применения в Airflow. - NiFi: - Опыт работы с Apache NiFi для управления потоками данных. Знание принципов создания и настройки потоков данных в МН.
- ETL/ELT процессы - Глубокое понимание ETL и ELT процессов, их различий и применения. - Опыт разработки и оптимизации ETL/ELT процессов на различных платформах.
- Системы контроля версий - Git: - Уверенное владение Git для управления версиями кода. - Опыт работы с системами CI/CD (Continuous lntegration/Continuous Depbyment) будет плюсом.
Архитектурные навыки - Умение проектировать масштабируемую и высокодоступную архитектуру DWH. - Опыт работы с облачными решениями (AWS, Azure, GCP) будет плюсом.
Навыки написания технической документации - Умение составлять технические задания (ТЗ) для разработки и интеграции систем. - Опыт описания технологий и протоколов интеграции между системами, включая APl, веб-сервисы и другие методы взаимодействия.
Условия:
- Полностью удаленная работа;
- В рамках этого проекта полная занятость (100% в рабочее время по МСК), частичная занятость возможна (от 4 часов в рабочее время) , но есть и другие проекты;
- Работа в профессиональной команде;
- Участие в крупном интересном проекте;
- Фриланс-контракт ИП, самозанятость;
- Ежемесячное актирование, сроки оплаты 20 рабочих дней.
