Senior Data инженер (удаленная работа)

Вакансия: Senior Data инженер

Описание вакансии

Ищем Sr Data Engineer в команду со сложной технической задачей.
Работать предстоит над подсистемой биржевого аналитического продукта, которая называется MDH (Market Data Hub) и отвечает за эффективное хранение и быструю отдачу биржевых данных.

У нас не будет BigData, упор - на качество данных, покрытие тестами, визуализацию.

ВАЖНО: у кандидата должно быть понимание бизнес-сути продукта, то есть фондового рынка и инвестирования.

Обязанности:
Настройка интеграций с источниками данных
Организация и поддержка работы каталога данных
Поддержка и помощь в работе с хранилищем данных
Взаимодействие с командами разработки и аналитики

Требования:
1. Опыт работы с Apache Airflow в корпоративной среде:
Настройка и управление пайплайнами данных.
Опыт разработки DAG на Python для автоматизации ETL процессов.
Оптимизация и мониторинг выполнения DAG-ов.

2. Опыт самостоятельной разработки ETL/ELT процессов на основании бизнес-требований. Понимание основных принципов решения задач трансформации данных и интеграции источников данных
3. Понимание принципов и опыт работы с каталогами данных
4. Навыки работы с DBT (Data Build Tool):
Разработка и поддержка моделей данных с использованием DBT.
Интеграция DBT в пайплайны данных для трансформации данных.
Понимание процессов версионирования моделей данных.
5. Понимание принципов построения и работы с потоковыми данными (Kafka, Spark Streaming). Опыт работы с Kafka: развертывание (желательно), настройка/оптимизация/масштабирование (обязательно)
6. Опыт использования SQL при написании сложных запросов и оптимизация производительности существующих.
7. Опыт работы с реляционными базами данных (PostgreSQL, MSSQL)

Будет плюсом:
8. Опыт работы с облачными платформами (Yandex.Cloud)
9. Навыки работы с системами контроля версий (Git), настройка CI/CD для дата-процессов

Условия:

- Удаленная работа;

-Свободная локация;

- Fulltime по МСК +/-2 часа;

- Взаимодействие по ИП;

- Полная занятость, долгосрочный проект.