Вакансия: Data engineer (команда Почта)
Тебе предстоит заниматься разработкой аналитической платформы. Мы стремимся сделать единую точку входа для всей аналитики в VK и ищем нового сотрудника, с которым мы смогли бы это сделать еще быстрее и успешнее.
Мы разрабатываем единый реестр аналитических событий компании, систему доступа к аналитическим данным, систему A/B-тестов. Сервисами уже активно пользуются такие проекты, как Почта, Облако, Маруся, Медиапроекты.
Наш стек: Hadoop, Kafka, PySpark, Clickhouse. Для аналитики используются данные размером десятки петабайт. Тебе предстоит работать с настоящей BigData.
Задачи:
- разработка DWH-платформы;
- проектирование схем для хранения данных;
- автоматизация загрузки данных из различных источников (как внутренние БД, так и внешние аналитические/маркетинговые платформы и т.д.);
- автоматизация data-pipelines, ETL-процессов;
- автоматизация построения витрин данных;
- организация CI/CD и мониторинга процессов обработки данных;
- готовность разбираться в чужом коде;
- ревью кода в команде.
Требования:
- опыт разработки c аналитикой от 1 года;
- опыт разработки живых проектов или доработка существующих решений;
- опыт DWH разработки от 1 года, знание Python;
- понимание принципов работы классических СУБД;
- работа с Linux & Bash.