Вакансия: Руководитель отдела аналитики и инженерии больших данных (Team Lead Data Engineering)
Описание вакансии
Мы представляем группу компаний Бюро Up и аккредитованную IT-компанию Smart Predictive Technologies.
Smart Predictive Technologies (SPT) специализируется в области машинного обучения и data science. SPT обогащает Бюро Up уникальными для этой сферы технологиями, а также разрабатывает продукты для внешних клиентов.
С помощью наших продуктов мы умеем анализировать новостной фон, создавать объективную новостную картину дня, находить лидеров общественного мнения и многое другое.
У нас открыта вакансия: Руководитель отдела аналитики и инженерии больших данных (Team Lead Data Engineering).
Обязанности: - Управлять командой из 2-6 Data Engineers
- Интеграция ml моделей в пайплайны обработки данных
- Написание сервисов обработки данных на fastapi с бизнес логикой
- Написание сервисов обработки данных из kafka
- Построение аналитики в Clickhouse (dagster+dbt)
- Оптимизация ресурсов
- Интеграция источников
Опыт и навыки: - Понимание методологии построения DWH - Data Vault.
- Опыт работы с GreenPlum, Clickhouse и Kafka.
- Опыт внедрения подготовленных ML моделей(mlflow+fastapi) в пайплайны обработки.
- Опыт управления командой.
-
Стек: Python, Yandex Cloud, Kafka, Dagster, dbt, MLflow, Airbyte, Greenplum, Clickhouse
Будет плюсом: terraform, k8s, мониторинг prometheus+grafana
Условия: - Конкурентоспособный уровень дохода (зависит от опыта и навыков)
- Масштабные проекты
- Профессиональная команда
- Корпоративная культура, ориентированная на созидание, командную работу и достижения
- Удаленный или гибкий формат работы
