Проектирование, внедрение и поддержка крупномасштабных Hadoop-кластеров.
Оптимизация производительности и масштабирование Hadoop-экосистемы.
Обеспечение безопасности и управление доступом к данным в Hadoop-среде.
Интеграция Hadoop с другими системами и источниками данных.
Экспертная поддержка, настройка и мониторинг существующих Hadoop кластеров.
Решение сложных вопросов при эксплуатации Hadoop, устранение аварий и сбоев.
Требования:
Глубокое знание архитектуры Hadoop и его ключевых компонентов: - HDFS (Hadoop Distributed File System) - YARN (Yet Another Resource Negotiator) - Hive - Tez - HBase - Knox - Ranger - Livy - Kyuubi
Опыт работы с Apache Hadoop версии 3.3 и выше, включая настройку и оптимизацию YARN и Timeline Service v2.3.
Уверенное владение инструментами экосистемы Hadoop: - Настройка и администрирование HBase - Конфигурация и управление Knox для обеспечения безопасного доступа - Использование Ranger для управления политиками безопасности и аудита - Работа с Livy для взаимодействия с Apache Spark - Настройка и оптимизация Kyuubi для обеспечения многопользовательского доступа к Spark
Опыт работы с распределенными системами хранения и обработки данных.
Знание и опыт применения Proxy для балансировки нагрузки в Hadoop-кластерах.
Глубокое знание JVM, включая настройку производительности, управление памятью и отладку.
Опыт внедрения и настройки Single Sign-On (SSO) решений в среде Hadoop.
Опыт работы с системами управления версиями (например, Git) и инструментами непрерывной интеграции/доставки (CI/CD).
Понимание принципов безопасности данных и опыт их реализации в среде Hadoop.
Способность диагностировать и решать сложные проблемы производительности в распределенных системах.
Опыт работы с Puppet/Ansible для автоматизации настройки и управления инфраструктурой Hadoop.
Уверенное владение bash-скриптингом для автоматизации задач и управления системами Linux.
Условия:
Сильная команда, с которой можно расти
Петабайты данных и огромные мощности для их переваривания
Сложные, нетривиальные задачи для маркетплейса с миллионами пользователей
Возможность влиять на процесс и результат
ДМС со стоматологией
Гибкий график работы, гибридный и удаленный тоже рассматривается
