Data Engineer (Streaming) (удаленная работа)

Вакансия: Data Engineer (Streaming)

Описание вакансии

Мы продолжаем усиление нашего Data-департамента, и прямо сейчас мы ищем инженера данных в команду Data Platform.

Тебе предстоит:

• Поддерживать и оптимизировать spark-джобы.
• Трансформировать ETL из overnight batching в realtime streaming на Spark3.
• Создавать пайплайны NRT обработки данных для аналитики и рекомендаций.
• Подключать источники новые источники событий.

Требования:

• Релевантный опыт работы на Scala: от 2-х лет.
• Практический опыт работы с Spark, Hadoop, Airflow, Kafka, Docker.
• Знакомство с Kubernetes и опыт его использования в работе.