Data Engineer (удаленная работа)

Вакансия: Data Engineer

Ищем коллегу в команду по реализации собственных аналитических продуктов.

Твои задачи:

• Обработка данных на Spark;
• Разработка и поддержка пайплайнов загрузки данных;
• Разработка мониторинга и алертинга;
• Разработка API и механизмов интеграций;
• Ключевые навыки Hadoop, NiFi, spark, hive, scala, SQL, oozie, dataframe.

Мы ждем от тебя:

• Знание стека Hadoop;
• Понимание пайплайнов загрузки и трансформации данных ;
• Знание Hive (SQL/HiveQL),
• Уверенное владение Spark (RDD, DF);
• Опыт с Oozie и Airflow
• Хорошие знания реляционных баз данных, архитектур хранилищ данных
• Уверенные знания SQL (PortgreSQL, Oracle).
  
  Дополнительным плюсом будет:
• Владение Kubernetes и опыт разработки микросервисов;
• Умение разбираться в чужом коде.