Вакансия: Data Engineer в команду Big Data
Мы занимаемся развитием и поддержкой платформы Big Data на vk.com. Платформа построена как на проверенных решениях с открытым исходным кодом (Hadoop, Kafka, Spark, Zeppelin), так и на собственных разработках, заточенных под работу 24/7 в условиях высоких нагрузок.
ВКонтакте самая большая социальная сеть в России, поэтому у нас самая большая Big Data:
- Kafka 1 Пбайт;
- HDFS 50 Пбайт;
- Clickhouse 3 Пбайт (NVMe).
Ищем специалиста, который отлично владеет любым из этих инструментов.
Вам предстоит:
- развивать платформу хранения и обработки Big Data;
- внедрять новые инструменты для анализа данных и машинного обучения;
- решать задачи производительности и отказоустойчивости инфраструктуры Big Data;
- строить новые и оптимизировать существующие ETL-процессы.
У нас интересно, потому что:
- действительно много данных (десятки петабайт), настоящие и сложные задачи;
- мы не зацикливаемся на работе с одним инструментом или хранилищем, а всегда ищем наиболее подходящее решение;
- мы используем весь стек технологий от железа и настроек инструментов до реализации собственных разработок.
Мы рассчитываем, что вы:
- хорошо знаете Java/Scala, Python;
- разбираетесь в принципах работы баз данных, распределённых систем хранения и обработки данных;
- работали и понимаете внутреннее устройство Hadoop, HDFS, Kafka, Spark, Zeppelin, Airflow, ZooKeeper, ClickHouse.
Приглашаем специалиста, который сможет посещать офис в Москве или Санкт-Петербурге, работать в комбинированном режиме или удалённо. Ждём ваших откликов. Удачи!