Data engineer (интеграция с источниками) (удаленная работа)
(вакансия в архиве)

28 марта 2024

Уровень зарплаты:
з.п. не указана
Требуемый опыт работы:
Не указан

Вакансия: Data engineer (интеграция с источниками)

Описание вакансии

В команде ETL X5 Технологии , в связи расширением и появлением новых задач по загрузке новых данных, открыта позиция Data engineer (интеграция с источниками)
На данный момент, у нас построен кластер Hadoop общей емкостью 1 петабайт. Команда ETL отвечает за интеграцию кластера с источниками данных.
Мы загружаем данные из различных источников данных (как внутри компании, так и извне) в кластер Hadoop.
Результат работы разработанных нашей командой механизмов - стабильно обновляемые базы данных в Hive. На основе этих баз данных ДБД разрабатывает различные продукты для широкого круга заказчиков внутри X5 Group и снаружи.

Наш стек : Apache Nifi, Kafka, Hadoop, Hive, Sqoop, Postgres, Java

Чем предстоит заниматься:

  • Разработка приложений загрузки данных;
  • Валидация данных;
  • Отладка потоков данных;
  • Исправление ошибок загрузки данных.

Наш кандидат:

  • Знание SQL (индексы, функции, умение читать планы запросов). Опыт работы с любой реляционной БД (Oracle, Postgres, MySQL, MsSQL, DB2 и т.п.).
  • Умение писать на любом языке (Python, Groovy, Java и т.п.).
  • Умение работать с Git в консоли.
  • Опыт работы с любым графическим ETL инструментом (Apache Nifi, Airflow, Talend, Informatica, SAS и т.п.).
  • Опыт работы с Apache Kafka и системами хранения и визуализации логов (примеры - EFK, Graylog). Опыт работы с Grafana.
  • Опыт работы с Hadoop. Понимание устройства HDFS, форматов данных. Опыт работы с Hive или любым другим хранилищем на основе Hadoop.
  • Желание самостоятельного усовершенствования своих навыков и повышения квалификации.

Будет плюсом

  • Опыт работы с NoSQL (Mongo, Redis, Cassandra, Clickhouse и т.п.)
  • Опыт работы в смежных областях (Саппорт, системный анализ и т.п.)
  • Опыт работы в больших компаниях

Мы предлагаем:

  • возможность работать удалённо или ездить в офис на м. Волгоградский проспект / м. Добрынинская/ м. Парк Культуры
  • возможность роста: план развития, регулярная обратная связь, 2 раза в год оценка персонала
  • яркую корпоративную жизнь с большим количеством мероприятий, конкурсов и возможностей для творческой реализации: X5 Tech Bar, регулярные внутренние митапы, демо-дни, открытые микрофоны, обмен опытом через внутренние комьюнити, день IT-специалиста, программы корпоративного волонтерства, корпоративное предпринимательство X5 Idea Challenge
  • широкий пакет ДМС (включая выезд за рубеж и стоматологию), страхование жизни и здоровья; забота о благополучии сотрудников: регулярная онлайн-йога, ежедневные онлайн-зарядки по утрам, ЗОЖ-марафоны.
  • скидки в экосистеме бизнесов Х5 ( Пятёрочка , Перекрёсток , Карусель , ОКОЛО , Много лосося , 5post , Перекресток Впрок )
  • программа привилегий Prime-zone (скидки на товары и услуги и специальные предложения от компаний-партнёров);
  • материальную помощь сотрудникам, попавшим в сложную жизненную ситуацию

Узнать о нас больше вы можете в соц.сетях #X5TECH



Посмотрите похожие вакансии

Senior/Lead Разработчик (Data engineer/ETL Engineer)
Компания: Heaad
Зарплата: от 250 000 до 350 000 руб.
Data Engineer (ETL -разработчик)
Компания: Т1
Зарплата: з.п. не указана
Senior Data Engineer (логистика)
Компания: Леруа Мерлен
Зарплата: з.п. не указана
Middle Data Engineer
Компания: Playrix
Зарплата: з.п. не указана