Data Engineer (удаленная работа)

Вакансия: Data Engineer

Описание вакансии

Наш стек:

• StarRocks
• Apache Airflow
• Python
• PostgreSQL
• Gitlab
• Jira и Сonfluence

Задачи, которые будут в твоих руках:

• Разработка, тестирование и поддержка data lakehouse решения согласно бизнес требованиям и лучшим практикам инженерии данных.
• Разработка процессов извлечения, преобразования и загрузки данных в data lakehouse.
• Интеграция решений по управлению данными включая: безопасность, качество, конфиденциальность, происхождение данных.
• Умение писать и оптимизировать запросы.
• Коммуникация с архитекторами данных, разработчиками и IT для достижения целей проекта.

Что для этого нужно:

• Опыт работы в качестве инженера данных или аналогичной должности более 3-х лет.
• Знание реляционных баз данных, таких как PostgreSQL, MySQL, MS SQL и баз данных NoSQL, таких как MongoDB.
• Опыт работы с архитектурой данных и хранилищами данных.
• Опыт пакетной обработки данных с инструментами ETL.
• Знание базы данных StarRocks является плюсом.
• Знание kubernetes и docker настройки.
• Опыт работы с Apache Airflow/Python для интеграции и оркестрации данных обязателен.
• Знание Apache Kafka для обработки данных в реальном времени является плюсом.
• Умение работать в команде.
• Степень в области компьютерных наук, информационных технологий или аналогичной области; степень магистра является плюсом.