Системный администратор (DWH) (удаленная работа)
(вакансия в архиве)

Вакансия: Системный администратор (DWH)

Тебе предстоит заниматься администрированием сервисов, которые работают с большими данными. Мы стремимся сделать единую точку аналитики в VK и ищем нового админа в команду, с которым мы смогли бы это сделать еще быстрее и успешнее.

Наш стек это hadoop, kafka, spark, clickhouse, postgres. Часть сервисов написана на Python, деплоятся в Kubernetes с использованием GitLab CI и puppet. Мы автоматизируем различные сценарии для удобной работы с данными. Для аналитики используются данные размером десятки петабайтов.

Мы планируем доработать и улучшить существующие сервисы, внедрить их как экосистему в большинство проектов внутри VK.

Задачи:

• администрирование приложений стека Hadoop (HDFS, Hive, YARN, Spark, Hue) и сервисов вокруг (FreeIPA, Jupyter, KVM);
• администрирование распределенных БД (Vertica, Clickhouse);
• внедрение дистрибутива Hadoop, разработанного в VK;
• аудит и анализ существующих инсталляций Hadoop;
• создание документации и инструкций.

Требования:

• опыт администрирования Linux (Centos);
• опыт работы с Configuration Management инструментами (Puppet/Ansible/Salt);
• опыт написания скриптов автоматизации (Bash/Python).

Будет плюсом:

• опыт настройки и эксплуатации нескольких кластеров Hadoop, объединенных в федерацию;
• опыт интеграции LDAP/Kerberos с приложениями стека Hadoop (HDFS, Hive, YARN);
• опыт работы с Vanilla Hadoop;
• опыт работы с виртуализацией;
• опыт работы с Docker, k8s;
• опыт работы с git;
• опыт работы с Apache Kafka.