Data Engineer / Инженер по интеграциям (Начинающий) (удаленная работа)

Вакансия: Data Engineer / Инженер по интеграциям (Начинающий)

Описание вакансии

Работа в Правительстве Москвы это возможность делать наш город современнее и удобнее. Если ты тоже неравнодушен к Москве, хочешь развивать ее и развиваться сам, присоединяйся к нашей команде!

Обязанности:

Опыт работы в части проектирования межведомственного взаимодействия:

• Определение состава и структуры передаваемых данных: разработка XML-схем (XSD), согласование полей и типов данных между организациями.
• Определение форматов сообщений, протоколов передачи и последовательности обмена
• Разработка регламентов направления запросов и предоставления документов, процедур подтверждения приёма и обработки ответов.
• Обеспечение контроля версий схем и миграции данных при изменениях требований
• Учет требований безопасности и защиты персональных данных при межведомственном обмене

Опыт проектирования RESTсервисами:

• Определение конечных точек, методов (GET, POST, PUT, DELETE), форматов запросов/ответов (JSON/XML), кодов состояния
• Реализация клиентской и серверной логики, обработка ошибок, idempotency, аутентификация/авторизация (OAuth2, JWT)
• Тестирование и документирование API (OpenAPI/Swagger), мониторинг и логирование запросов

Опыт работы с базами данных на PL/SQL и PostgreSQL:

• Проектирование схем БД, индексы, оптимизация запросов, обеспечение целостности данных
• Опыт написания и отладки процедур, функций, триггеров, пакетов; знание PL/SQL и эквивалентных средств в PostgreSQL (PL/pgSQL)
• Чтение и анализ существующего кода SQL/PLSQL, оптимизация запросов, рефакторинг хранимых процедур
• Резервное копирование, восстановление, настройка репликации и мониторинга производительности

Опыт работы с интеграциями и оркестрацией потоков:

• Apache Kafka Connect, подключение источников/стоков к Kafka
• Debezium, change-data-capture для репликации изменений из БД
• Apache Camel, маршрутизация и интеграционные паттерны
• RabbitMQ, ActiveMQ (как дополнительный плюс)
• Проектировать и настраивать топики, продюсерыи консьюмеры, управлять партиционированием в Apache Kafka
• Проектировать интеграции с микросервисами в Apache Kafka

Опыт работы с Arenadata:

• Установка, настройка и администрирование кластеров (ADCM/AD.S/AD.PS.AD.ET)
• Управление пользователями и безопасностью, мониторинг и отладка производительности
• Опыт проектирования и оптимизации ETL/ELT-пайплайнов, включая интеграцию с Arenadata (подключение источников, настройка загрузки и трансформаций)

Опыт работы с Apache NiFi:

• Создание потоков передачи и трансформации данных, настраивать процессоры, маршрутизацию и фильтрацию сообщений.
• Оркестрация интеграционных процессов, обеспечение масштабируемости и устойчивости конвейеров данных.

• Опыт работы с инструментами для разработки и контроля версий такими как Git (GitLab/GitHu

Требования:

• Подтверждённый опыт работы с Kafka, Debezium и настройкой CDC/повторной доставки сообщений
• Опыт проектирования и внедрения обратной совместимости для API (версирование схем, feature flags, схемы эволюции)
• Опыт администрирования PostgreSQL/Oracle, оптимизации запросов и работы с репликацией/резервным копированием
• Владение Docker/Kubernetes для деплоя интеграционных сервисов и настройкой CI/CD пайплайнов
• Знание инструментов мониторинга и алертинга (Prometheus/Grafana, ELK/EFK), умение настраивать SLO/SLI

Условия:

• Гибридный или удаленный формат работы, пятидневная рабочая неделя с 8:00-17:00, пятница до 16:00 (в летний период рабочий день до 15:00)

• Чистый, современный, просторный офис со всей необходимой для работы орг. техникой. Находится в пешей доступности м. Белорусская

• Бенефиты от профсоюзной организации: ДМС со стоматологией, частичная компансация спорта, детский лагерь

• Значимая роль в команде экспертов, в которой коллеги всегда
  поддерживают друг друга

• Развивающие задачи и карьерные вызовы, реальные возможности для
  роста