Data Architect / Архитектор данных (удаленная работа)
(вакансия не опубликована)

Вакансия: Data Architect / Архитектор данных

Описание вакансии

Ищем Data Architect / Архитктор данных (Python) от 9ти лет опыта, т.е. от 6ти лет в роли разработчика-аналитика данных, а так же от 3х лет в роли Архитектора, на частичную занятость с удаленкой или на полную занятость гибрид в Москве (офис в Москва Сити).

У нас не будет BigData, упор - на качество данных, покрытие тестами, визуализацию.

Обязанности:

Выстраивание культуры управления данными, формирование требований к качеству и консистентности данных, внедрение практик и инструментов контроля и поддержания качества данных.
Разработка архитектуры приложений для обработки данных.
Выполнение архитектурного контроля команд разработки.
Разработка процессов конвейерной обработки данных.
Разработка механизма хранения и доступа к данным.
Разработка инфраструктуры данных и подбор технологического стека.
Организация и поддержка работы каталога данных
Поддержка и помощь в работе с хранилищем данных
Взаимодействие с командами разработки и аналитики
Настройка интеграций с источниками данных

Требования:
1. Опыт работы с Apache Airflow в корпоративной среде:
Настройка и управление пайплайнами данных.
Опыт разработки DAG на Python для автоматизации ETL процессов.
Оптимизация и мониторинг выполнения DAG-ов.

2. Опыт самостоятельной разработки ETL/ELT процессов на основании бизнес-требований. Понимание основных принципов решения задач трансформации данных и интеграции источников данных
3. Понимание принципов и опыт работы с каталогами данных
4. Навыки работы с DBT (Data Build Tool):
Разработка и поддержка моделей данных с использованием DBT.
Интеграция DBT в пайплайны данных для трансформации данных.
Понимание процессов версионирования моделей данных.
5. Понимание принципов построения и работы с потоковыми данными (Kafka, Spark Streaming). Опыт работы с Kafka: развертывание (желательно), настройка/оптимизация/масштабирование (обязательно)
6. Опыт использования SQL при написании сложных запросов и оптимизация производительности существующих.
7. Опыт работы с реляционными базами данных (PostgreSQL, MSSQL)
8. Опыт работы с облачными платформами (Yandex.Cloud)
9. Навыки работы с системами контроля версий (Git), настройка CI/CD для дата-процессов
10. Опыт работы с Time Series DB.

Условия:

- Удаленная работа на парттайм или гибрид в МСК на фуллтайм

- Работа по МСК

- Взаимодействие по ИП или ТД;