Senior Data Engineer (логистика) (удаленная работа)

Вакансия: Senior Data Engineer (логистика)

Описание вакансии

Мы команда Даты в логистике, которой развивает культуру работы с данными и их применения для принятия ключевых стратегических и операционных решений. И для этого нам нужен опытный дата инженер.

В команде есть 3 ключевых направления:

• Техническое развитие даты. Функции этого направления - обеспечить наличие и консистентность данных из систем источников в едином месте для создания аналитической отчетности. Развитие нашего собственного хранилища данных.
• Прозрачность - сделать логистику прозрачной для её сотрудников и сотрудников других отделов, а также дать возможность сотрудникам принимать решения базируясь на данных, а не на интуиции. Команда работает над разработкой онлайн дашбордов на базе оперативных данных и разработкой системы контроля ключевых операционных и финансовых метрик на базе аналитических данных.
• Реализация ML проектов в этом блоке мы планируем работать над проектами по оптимизации логистических процессов (склада, транспортировки, контроля поставок, и т.д.) разрабатывая ML-инструменты для улучшения алгоритма выбора просчета логистических объектов.

Обязанности:

• Интеграция данных из систем источников в хранилища данных (ETL/ELT);

• Создание и развитие хранилища для около риал тайм данных (Postgres);

• Создавать и улучшать процессы обработки данных;

• Принимать участие в создании интеграций новых источников в DataLake;

• Принимать участие в архитектурных решениях;

• Разрабатывать процедуры формирования детального слоя данных и слоя витрин (GP, Postgres);

• Реализовывать процессы CI/CD и мониторинга разработанных процессов обработки данных (Grafana, Prometheus);

• Покрывать интеграции и расчеты витрин проверками качества данных;

• Документировать свою работу в Яндекс Вики;

• Работать в Яндекс Трекере;

• Работа с инцидентами в ITSM инструменте.

Требования:

• Знания принципов работы БД, построения ХД;

• Опыт разработки ETL процессов (NiFi, Flink);

• Имеет опыт работы с системами контроля версий (Git);

• Опыт работы с высоконагруженными системами хранения и обработки данных;

• Отличное знание SQL, опыт оптимизации запросов (GreenPlum, Postgres);

• Опыт самостоятельного ведения проектов;

• Опыт разработки на Python;

• Желание обучаться и развиваться;

• Понимание работы брокеров сообщений (Kafka);

• Опыт работы с Machine learning моделями будет плюсом (Kubernetes, Kuberflow).

Что мы готовы предложить:

• работу в компании с развитой инженерной культурой;
• гибкую систему премирования;
• расширенный социальный пакет: ДМС со стоматологией с первого месяца работы, психолог и страхование жизни, компенсация питания и оплата мобильной связи;
• возможности профессионального роста, программы развития для сотрудников;
• корпоративное обучение и доступ к базе знаний;
• внутренние профессиональные сообщества и мероприятия;
• автономность работы, возможность менять правила, ошибаться и создавать новое;
• гибридный формат работы;
• современный офис в 2 минутах ходьбы от МЦК ЗИЛ.