Data Engineer (команда ленты и рекомендаций) (удаленная работа)
(вакансия в архиве)

Вакансия: Data Engineer (команда ленты и рекомендаций)

Мы совершенствуем одни из ключевых продуктов ВКонтакте: ленту новостей и рекомендации, социальный граф, комментарии и многое другое. Их качество зависит от эффективности алгоритмов машинного обучения и точности продуктовой аналитики, которая, в свою очередь, опирается на качество, свежесть и стабильность данных.

Ищем опытного специалиста, который поможет нам развивать продукт.

Вам предстоит:

развивать платформу хранения и обработки больших данных;

внедрять новые инструменты для анализа данных и машинного обучения;

строить новые глобальные ETL-процессы и оптимизировать существующие, преимущественно на Spark и Python;

разрабатывать сервисы, облегчающие работу специалистов Data Science;

решать задачи, связанные с производительностью и отказоустойчивостью инфраструктуры Big Data.

У нас интересно, потому что:

вас ждет тотальный хайлоад петабайты данных, десятки миллионов пользователей, множество разных продуктов;

впереди много новых вызовов мы используем Open Source по максимуму, иногда с доработками, чтобы расширить его возможности;

мы поддерживаем культуру стартапа, сохраняя преимущества устоявшегося продукта.

Мы ожидаем, что вы:

работали со свежими версиями продуктов фонда Apache Hadoop, Kafka, Spark, Airflow;

знаете принципы работы баз данных и распределенных систем хранения и обработки данных;

владеете Bash и Python для автоматизации процессов, Java и Scala для поддержки ETL и внедрения новых сервисов, а также SQL;

занимались построением и развитием инфраструктуры Big Data.

Будет плюсом:

• знание ClickHouse.

Приглашаем специалиста, который сможет посещать офис в Москве или Санкт-Петербурге, работать в комбинированном режиме или удаленно. Ждем ваших откликов. Удачи!