Администратор стриминговых платформ (Kafka) (удаленная работа)

Вакансия: Администратор стриминговых платформ (Kafka)

Описание вакансии

Департамент информационных технологий Москвы создает и развивает цифровые проекты, которые делают столицу комфортнее, а жизнь горожан удобнее и мобильнее. Для системы управления столицей технологии это незаменимый инструмент, который применяется во всех отраслях экономики, городского хозяйства и социальной сферы. А для миллионов горожан повседневный помощник, который позволяет получать сотни услуг и сервисов в удобном цифровом формате в режиме 24/7.

Продукт Госуслуги Москвы занимается реализацией проектов по переводу услуг и сервисов в электронный вид, а также обеспечением функционирования и развития комплекса общегородских информационных систем, с использованием которых обеспечивается предоставление государственных услуг в электронной форме и в многофункциональных центрах, поддержка инфраструктуры электронного правительства Москвы.

Мы в поисках администратора который будет отвечать за платформу, которая обрабатывает события платежей, синхронизирует данные между городскими информационными системами, обеспечивает мгновенную доставку уведомлений в приложения и работает с 99.9х% аптаймом потому что остановка = недоступность услуг для людей.

Что нужно делать:

• Установливать, настраивать, управлять и заниматься мониторингом кластеров Kafka. Понимание работы топиков, партиций, брокеров, продюсеров
• Работать с Zookeeper / KRaft
• Обеспечивать безопасность и целостность данных Kafka. Настраивать mTLS, SASL/SCRAM, ACL, интеграцию с Vault для управления секретами
• Участвовать в проектировании и развёртывание отказоустойчивых кластеров Kafka в private cloud (Kubernetes/OpenShift), с использованием Strimzi или аналогов
• Участвовать в проектировании топологий топиков, партиций и репликации под нагрузку 100K+ msg/s
• Обеспечивать целостность данных: настройка retention policies, компакции, кросс-датацентровой репликации (MirrorMaker 2)
• Проектировать системы метрик: определение KPI кластера (lag, throughput, under-replicated partitions)
• Формировать требования к подразделению мониторинга: запрос изменений в Zabbix-шаблонах, настройка алертинга по SLO/SLI, создание дашбордов в Grafana
• Работать с соседними подразделениями по предоставлению сетевых доступов, заказу ресурсов и т.д.
• Анализировать причины инцидентов/аварий самостоятельно и/или с привлечением смежных команд
• Поддерживать пользователей на уровне 3 линии

Какие знания и навыки нам важны:

• Опыт эксплуатации Kafka в продакшене от 3х лет: глубокое понимание работы контроллера, партиций, изоляции лидера, механизма смещений
• Опыт построения высоконагруженных систем, с требованиями по отказо- и катастрофоустойчивости
• Уверенное администрирование Linux (OpenSuse, RHEL)
• Навыки написания скриптов на Bash, Python для автоматизации
• Уверенные знания Ansible, Gitlab и иных инструментов с методологией IaC
• Знание SQL и опыт работы с базами данных PostgreSQL / MySQL / MongoDB / Clickhouse
• Опыт проектирования метрик и работы с системами мониторинга (Grafana, Prometheus)

Будет плюсом:

• Опыт работы с платёжными системами или критически важными госсервисами
• Опыт работы с Apache Hadoop / Elasticsearch / Opensearch
• Практика Chaos Engineering для проверки устойчивости кластеров

Что мы предлагаем:

• Оформление по ТК в аккредитованной IT-компании
• Конкурентная заработная плата и квартальные премии
• Удаленный формат работы на территории РФ (есть возможность рассмотреть удобный именно для вас график: полная удаленка/гибрид/офис)
• График работы 5/2
• Интересные задачи и ресурсы для их реализации
• Материальную помощь в случае важных событий в жизни
• Корпоративное обучение у топовых провайдеров и доступ к онлайн-библиотеке
• Корпоративные тренировки и спортивные активности: бег, футбол, волейбол, баскетбол, теннис и другие
• Комьюнити по интересам
• Скидки от партнеров на ДМС, связь, развлечения, подарки, спорт и т.д.

Стань частью команды ДИТ Москвы и воплощай в жизнь цифровые проекты столицы!