Spark: * Развертывание и настройка кластеров Spark, а также управление ими. * Оптимизация производительности и использования ресурсов кластера. * Взаимодействие с командой разработчиков машинного обучения (ML). * Внедрение решений для мониторинга и ведения логов кластера Spark. * Оптимизация работы Spark и настройка производительности.
API Gateway: * Установка и настройка API Gateway, например, NGINX, Kong или Apigee. * Настройка маршрутизации, балансировки нагрузки и управления API.
Развертывание БД: * Развёртывание и настройка реляционных баз данных, таких как PostgreSQL или MySQL, а также NoSQL баз данных, например, MongoDB или Cassandra. * Обеспечение резервного копирования, восстановления и репликации данных.
Kafka: * Установка и настройка Apache Kafka. * Настройка кластеров Kafka, брокеров, тем и клиентов. * Обеспечение отказоустойчивости и мониторинга Kafka.
Модули мониторинга и логирования: * Внедрение и настройка инструментов мониторинга, таких как Prometheus, Grafana или ELK Stack. * Настройка алертинга и мониторинга производительности систем и приложений.
Требования:
Опыт развёртывания и управления кластерами Spark.
Уверенные знания одного из менеджеров кластеров Spark, таких как YARN или Mesos.
Автоматизация процесса развёртывания и оптимизация CI/CD.
Знание одного из инструментов создания сценариев и автоматизации, например, Ansible, Terraform или Jenkins.
Опыт работы с технологиями контейнеризации, такими как Docker или Kubernetes.
Опыт работы в Agile/Scrum командах.
Способность решать сложные технические задачи и быстро осваивать новые технологии.
Понимание принципов сетевой безопасности и лучших практик.
Условия:
Высокую заработную плату, обсуждаем индивидуально;
Удаленную работу;
Работа с интересными проектами и постоянное развитие;
Мы всегда поддерживаем инициативы и творческий подход наших сотрудников;
