Data Engineer в команду Big Data (удаленная работа)
(вакансия в архиве)

VK

31 июля 2023

Уровень зарплаты:
з.п. не указана
Требуемый опыт работы:
Не указан

Вакансия: Data Engineer в команду Big Data

Мы занимаемся развитием и поддержкой платформы Big Data на vk.com. Платформа построена как на проверенных решениях с открытым исходным кодом (Hadoop, Kafka, Spark, Zeppelin), так и на собственных разработках, заточенных под работу 24/7 в условиях высоких нагрузок.

ВКонтакте самая большая социальная сеть в России, поэтому у нас самая большая Big Data:

  • Kafka 1 Пбайт;
  • HDFS 50 Пбайт;
  • Clickhouse 3 Пбайт (NVMe).

Ищем специалиста, который отлично владеет любым из этих инструментов.

Вам предстоит:

  • развивать платформу хранения и обработки Big Data;
  • внедрять новые инструменты для анализа данных и машинного обучения;
  • решать задачи производительности и отказоустойчивости инфраструктуры Big Data;
  • строить новые и оптимизировать существующие ETL-процессы.

У нас интересно, потому что:

  • действительно много данных (десятки петабайт), настоящие и сложные задачи;
  • мы не зацикливаемся на работе с одним инструментом или хранилищем, а всегда ищем наиболее подходящее решение;
  • мы используем весь стек технологий от железа и настроек инструментов до реализации собственных разработок.

Мы рассчитываем, что вы:

  • хорошо знаете Java/Scala, Python;
  • разбираетесь в принципах работы баз данных, распределённых систем хранения и обработки данных;
  • работали и понимаете внутреннее устройство Hadoop, HDFS, Kafka, Spark, Zeppelin, Airflow, ZooKeeper, ClickHouse.

Приглашаем специалиста, который сможет посещать офис в Москве или Санкт-Петербурге, работать в комбинированном режиме или удалённо. Ждём ваших откликов. Удачи!



Посмотрите похожие вакансии

Automation QA Engineer (Python) (middle+)
Компания: Мамаева Ирина Анатольевна
Зарплата: от 300 000 до 300 000 руб.
Golang developer
Компания: Ябби
Зарплата: от 250 000 до 250 000 руб.
Team Lead
Компания: Холдинг Т1
Зарплата: з.п. не указана
Machine Learning Engineer (отдел Перформанса)
Компания: VK
Зарплата: з.п. не указана