Вакансия: Senior Data Engineer
Описание вакансии
Мы в поисках опытного
Senior Data Engineer , который поможет нам развивать и поддерживать подсистему
Market Data Hub (MDH) эффективное хранилище биржевых данных с быстрой отдачей.
ВАЖНО: должно быть понимание бизнес-сути продукта, то есть
фондового рынка и инвестирования. Команда разрабатывает биржевой аналитический продукт, который помогает инвесторам и трейдерам принимать взвешенные решения. Наша главная цель качество данных, надежность системы и удобство работы с ней.
Что предстоит делать: - Настраивать интеграции с источниками данных.
- Организовывать и поддерживать работу каталога данных.
- Поддерживать и улучшать хранилище данных.
- Взаимодействовать с командами разработки и аналитики.
Требования: - Опыт работы с Apache Airflow в корпоративной среде:
Настройка и управление пайплайнами данных.
Разработка DAG на Python для автоматизации ETL-процессов.
Оптимизация и мониторинг выполнения DAG-ов. - Самостоятельная разработка ETL/ELT процессов на основании бизнес-требований.
- Понимание принципов работы с каталогами данных.
- Опыт работы с DBT (Data Build Tool): Разработка и поддержка моделей данных.
Интеграция DBT в пайплайны данных.
Версионирование моделей данных. - Опыт работы с потоковыми данными (Kafka, Spark Streaming).
- Глубокие знания Kafka: настройка, оптимизация, масштабирование.
- Уверенные навыки работы с SQL: написание сложных запросов, оптимизация производительности.
- Опыт работы с реляционными базами данных (PostgreSQL, MSSQL).
Будет плюсом: - Опыт работы с облачными платформами (например, Yandex.Cloud).
- Навыки работы с Git, настройка CI/CD для дата-процессов.
Условия работы: - Удаленная работа, свобода локации.
- Взаимодействие по ИП .
- Часовой пояс московский (работаем в этом интервале).
- Двухнедельные спринты, ежедневные стендапы.
- Долгосрочный проект с интересными задачами.
