Senior Data Engineer (удаленная работа)
(вакансия не опубликована)

Вакансия: Senior Data Engineer

Описание вакансии

Центр Орбита - ведущий разработчик цифровых решений, российская аккредитованная ИТ-компания.

Масштабный технологический проект с глубокой экспертизой в цифровизации бизнеса. Ключевые отрасли: государственный сектор, FinTech, HR Tech, коммуникации и медиа, услуги, рынок недвижимости, travel.Нам доверяют крупнейшие компании РФ, среди них: Т1, ВТБ, Иннотех, Альфа-банк, ОИС и другие. Более 6 лет мы ведем собственную продуктовую и заказную разработку высокоэффективных цифровых решений и сейчас находимся в поиске Data Engineer.

!ВРЕМЕННЫЙ ПРОЕКТ: длительность 6 месяцев, с перспективой продления.

Задачи:

1. Разработка и поддержка ETL-процессов:

   • Создание и оптимизация скриптов для обработки данных с использованием Apache Spark и Apache Flink.

   • Разработка временных решений для обработки данных, таких как расчет остатков и анализ открытых заказов.

2. Работа с потоковыми данными:

   • Настройка и поддержка потоковой обработки данных с использованием Apache Kafka и Apache Flink.

   • Интеграция потоковых данных с существующими системами.

3. Оркестрация задач:

   • Настройка и управление workflows с использованием Apache Airflow для автоматизации ETL-процессов.

   • Мониторинг и оптимизация выполнения задач.

4. Работа с облачной инфраструктурой:

   • Развертывание и настройка инфраструктуры для обработки данных в Yandex Cloud.

   • Использование Docker и Kubernetes (K8S) для контейнеризации и оркестрации сервисов.

5. Анализ и оптимизация запросов:

   • Написание и оптимизация SQL-запросов для работы с большими объемами данных.

   • Анализ производительности и устранение узких мест в процессах обработки данных.

Ожидания от кандидата:

• Опыт работы с Apache Spark, Apache Hive и Apache Airflow.
• Знание Python и опыт разработки скриптов для обработки данных.
• Опыт работы с SQL и оптимизацией запросов.
• Базовые знания Yandex Cloud и опыт работ.
• Опыт работы с Linux и настройкой окружения для обработки данных.
• Знание Docker и базовые навыки работы с Kubernetes (K8S).
• Опыт работы с потоковой обработкой данных (streaming).

Мы предлагаем:

• Удалёнка: работу из дома, из офиса в Москва-Сити или оплачиваемого коворкинга;

• Деньги: Белую ЗП всегда в рынке, оформление ТК РФ;

• Комфортный старт: 3 месяца плавного погружения под присмотром HR;

• Поддержка: ИТ-отсрочку и HR / юридические консультации 24/7;

• Культура: прозрачные процессы и открытую коммуникацию;

• Мощное железо: работу на лучших компах, мы не логируем время, у нас фокус на доверии и результате;

• ДМС: забота о здоровье за счет компании;

• Развитие: индивидуальный план обучения, конференции и митапы, мы помогаем развиваться и строить карьеру. Мы готовы способствовать карьерному росту - у нас есть возможности для профессионального развития в рамках подразделения разработки, в том числе в других ЮЛ группы компаний.

• Личный бренд: выступления на конференциях, митапах, написание статей;

• Бенефиты: ежеквартальное обновление корпоративных скидок;

• Движ: вечеринки оффлайн и онлайн, мерч, конкурсы и челленджи.