Data Engineer (Junior/Middle) (удаленная работа)
(вакансия в архиве)

20 мая 2023

Уровень зарплаты:
з.п. не указана
Требуемый опыт работы:
Не указан

Вакансия: Data Engineer (Junior/Middle)

У нас все организовано в виде продуктов, имеющих бесконечный срок жизни. Продуктов очень много несколько сотен.

Если делить их по группам получится так:

Клиентский опыт:

  • обобщаем все клиентские взаимодействия с компанией в одну историю, под одним универсальным идентификатором;
  • прогнозируем и корректируем общую выручку от клиента на всем периоде жизни с компанией;
  • боремся с фродом на стороне клиентских устройств сотовой связи;
  • предсказываем отток и next-best-action для клиентов.

Управление оборудованием и качеством услуг связи:

  • собираем и анализируем метрики качества предоставления связи;
  • выполняем интеллектуальное планирование постройки базовых станций;
  • осуществляем предиктивное обслуживание оборудования.

Для продуктовых команд:

  • создаем для себя фреймворки и утилиты;
  • развиваем сервис мониторинга как единую точку сбора и просмотра метрик.


Обязанности:
  • Анализ требований к витринам данных (взаимодействие с владельцем продукта, BI-разработчиками, data scientist-ами)
  • Поиск и исследование источников данных для последующей интеграции
  • Оценка пригодности, качества исходных данных
  • Разработка ETL процессов на Spark
  • Оркестрация ETL процессов в Airflow
  • Проектирование баз данных
  • Создание конвейеров данных NiFi

Мы понимаем, что каждые DE индивидуален. Поэтому даем описание как бы выглядел идеальный кандидат. Все недостающие навыки можно подтянуть у нас.

  • Любит работать в команде и умеет это делать
  • Проработал от 1 года и более в таких областях как: коммуникационные технологии, безопасность, маркетинг и продажи, финансы.
  • Знает SQL на высоком уровне (в т. ч. DDL, табличные выражения, оконные функции)
  • Работал с Hive, PostgreSQL
  • Умеет разрабатывать ETL процессы Spark на Scala (потоковая обработка как преимущество)
  • Пользовался AirFlow или другими оркестраторами Oozie, Luigi, ну или cron
  • Может что-то написать на Python в объеме чтобы пользоваться AirFlow или еще круче
  • Имеет опыт потоковой разработки конвейеров данных в NiFi или Flink
  • Интересуется Flink, пробовал применять его в проектах
  • Умеет проектировать базы данных (знает Data Vault 2.0 например)
  • Понимает принципы работы реляционных СУБД и HDFS
  • Имеет представление о колоночных и NoSQL СУБД
  • Понимает подходы к работе с качеством данных
  • Применяет системный подход к работе, думает о конечной бизнес-задаче, мыслит логически, уделяет внимание деталям

Стек и технологии

В своей работе DE используют следующий стек технологий:

  • Экосистема Hadoop HDFS, YARN, Hive, HBase
  • ETL-процессы Spark (Scala)
  • Потоковая обработка NiFi, Flink
  • Брокер сообщений Kafka
  • Оркестрация ETL процессов Airflow
  • СУБД PostgreSQL, Greenplum, Aerospike, Oracle, SQL Server
  • CI/CD GitLab
Условия:
  • В компании существует и растет сообщество DE. Сейчас там около 300 человек с разным уровнем навыков от Junior до Senior. Инженеры помогают друг другу бороться с трудностями и развиваться, делятся друг с другом кодом, всякими лайфхаками.
  • Периодически проводятся митапы по инфраструктурным и софтовым темам, где коллеги делятся опытом, помогают разобраться в востребованных темах.
  • Мы готовы оплачивать любые активности по развитию и обучению конференции, подписки, книги, курсы все что помогает расти профессионально.
  • Предлагаем всем удаленный формат работы на территории РФ, но можно и гибридный - в зависимости от того, как Вам более удобно.