Администратор Hadoop (удаленная работа)

Вакансия: Администратор Hadoop

Описание вакансии

Ищем талантливого, проактивного и опытного BigData/DWH SRE в команду инфраструктуры. Строим с нуля аналитическое хранилище компании.

Что планируем построить: Кластер Hadoop Vanilla одной из последних версий, компоненты: HDFS, YARN, Hive, Trino/Impala, Spark, Airflow, JupyterHub/Zeppelin, FreeIPA KDC, Knox, Ranger, Hue.

Часть сервисов на железе, часть - в K8S. Интеграция с KeyCloak. В качестве альтернативы HDFS и YARN также рассматриваем Ozone и K8S.

Чем предстоит заниматься:

• Принимать участие в проектировании технической архитектуры хранилища
• Собирать и пакетировать компоненты кластера
• Автоматизировать деплой и конфигурацию компонентов кластера с помощью Ansbile/Helm - Организовать мониторинг и алертинг ключевых метрик кластера
• Организовать отказоустойчивость, безопасность и бэкапирование
• Решать проблемы низкой производительности, исправлять ошибки в работе кластера

Почему тебе может быть с нами интересно:

• Строим хранилище практически с нуля;
• есть возможность построить на современном стеке, избежать типичных ошибок, проверить свои гипотезы;
• в команде уже есть экспертиза, но не хватает рук;
• поможем освоиться и прокачать свои знания в администрирования современного Bigdata/DWH стека.

Какие знания и опыт мы от тебя ждем (минимум):

• от трех лет опыта в администрировании Linux
• от одного года опыт в администрировании Hadoop.

Мы предлагаем тебе:

• гибкое начало рабочего дня и гибридный формат работы: от офиса в Москве (с бесплатными завтраками, обедами и ужинами) до удалёнки из любой точки мира;
• вариативность оформления: трудовой договор, самозанятость, ИП или ГПХ;
• корпоративные скидки у партнеров, внешние программы по обучению и внутренние митапы;
• ежегодная 40%-ая скидка на покупку ноутбука или мобильного телефона.