Вакансия: Ведущий BigData инженер
Требуется удаленный ведущий инженер по большим данным. Должность является частью нашей новой программы EPAM Anywhere для удаленных работников. EPAM Anywhere предлагает различные IT-должности для удаленных сотрудников. Присоединяйтесь к нам, чтобы работать над амбициозными и долгосрочными проектами. Получайте стабильную трудовую нагрузку и наслаждайтесь балансом между работой и личной жизнью!
Обязанности:
- Руководство, разработка, внедрение инновационных аналитических решений с использованием Hadoop/NoSQL и других технологий, связанных с большими данными. Оценка новых функций и архитектуры в облаке/on premise/гибридные решения
- Работа с продуктовыми и техническими командами в целях понимания требований, оценки новых функций/архитектуры для принятия решений
- Создание партнерских отношений с архитекторами и ключевыми лицами в иных функциональных группах
- Проведение детального анализа бизнес-проблем и технических условий для разработки, с учетом таковых, качественного технического решения
- Активное участие в обзоре кода и тестировании решений, для убеждения в том, что оно соответствует требованиям передовых практик
- Создание и развитие высокопроизводительной инженерной культуры, наставничество членов команды и обеспечение сотрудников инструментарием и мотивацией
- Написание проектной документации
Требования:
- Более 5 лет опыта разработки программного обеспечения с использованием технологий Big Data (например, администрирование, управление конфигурацией, мониторинг, отладка и настройка производительности)
- Опыт и практика в области управления/хранения/визуализации данных, аварийного восстановления, интеграции, эксплуатации, безопасности
- Большой опыт построения конвейеров приема данных (имитация извлечения, преобразования, загрузки рабочей нагрузки), хранилищ данных или архитектуры базы данных
- Большой опыт моделирования данных; практический опыт разработки с использованием современных компонентов Big Data
- Облако: опыт проектирования, автоматизации, предоставления, развертывания и администрирования масштабируемых, доступных и отказоустойчивых систем
- Хорошее понимание принципов и передовых практик CI/CD
- Аналитический подход к решению проблем с умением работать на абстрактном уровне и достигать консенсуса; отличные навыки межличностного общения, лидерства и коммуникации
- Data-ориентированная личность, обладающая знаниями о соответствии требованиям PI, GDPR, HIPAA
- Мотивированность, независимость, эффективность и способность справляться с несколькими проектами; умение работать в условиях давления, сохраняя рассудительность и определяя приоритеты
- Способность работать в быстро меняющейся (как при запуске) гибкой среде разработки
- Большой опыт в архитектуре и инфраструктуре с высокой нагрузкой и IoT Data Platform
- Большой опыт работы с контейнерами и системами управления ресурсами: Docker, Kubernetes, Yarn
- Опыт прямого общения с клиентами
- Опыт работы в области технологий и/или командного руководства проектами, ориентированными на данные
- Хорошие навыки устранения неполадок инфраструктуры, поддержки и практики настройки/оптимизации производительности, анализа проблем узкого места
- Опыт работы в разных сферах бизнеса
- Знание английского языка: B2 и выше
- Расширенное понимание принципов распределенных вычислений
Технологии и инструменты, используемые в проекте:
- Языки программирования: Java/ Scala/Python/SQL/Bash
- Стек для больших данных: Hadoop, Yarn, HDFS, MapReduce, Hive, Spark, Kafka, Flume, Sqoop, Zookeper
- NoSQL: Cassandra/ Hbase/MongoDB
- Очереди и обработка потоков: Kafka Streams; Flink; Spark Streaming; Storm; Event Hub; IOT Hub MQTT; Storage Queues; Service Bus; Stream Analytics
- Визуализация данных: Tableau/QlikView
- ETL и потоковые конвейеры: Pentaho; Talend; Apache Oozie, Airflow, NiFi; Streamsets
- Операции: кластерные операции, кластерное планирование
- Поиск: Solr, Elasticsearch/ELK
- InMemory: Ignite, Redis
- Опыт работы в Solid Cloud с двумя или более ведущими облачными провайдерами (AWS/Azure/GCP): хранение; вычисления; сеть; личность и безопасность; NoSQL; RDBMS и кубики; обработка больших данных; очереди и обработка потоков; бессерверные вычисления; анализ и визуализация данных; ML как услуга (SageMaker; Tensorflow)
- Шаблоны корпоративного дизайна (ORM, инверсия управления и прочее)
- Методы разработки (TDD, BDD, DDD)
- Системы контроля версий (Git, SVN)
- Тестирование: тестирование компонентов/интеграций, модульное тестирование(JUnit)
- Глубокое понимание SQL-запросов, объединений, хранимых процедур, реляционных схем, а также оптимизации SQL
- Опыт работы в различных системах обмена сообщениями, таких как Kafka, ZeroMQ/ RabbitMQ
- Rest, Thrift, GRPC, SOAP
- Build Systems: Maven, SBT, Ant, Gradle
- Docker, Kubernetes, Yarn, Mesos
Мы предлагаем:
- Конкурентную заработную плату, соответствующую опыту и навыкам
- Долгосрочную работу в проектах корпоративного уровня
- Полную занятость (можно работать где угодно)
- Неограниченный доступ к учебным курсам (обучение LinkedIn, учебные курсы EPAM, регулярные уроки английского языка, внутренняя библиотека)
- Сообщество из 30 100+ лучших профессионалов отрасли
