Вакансия: Middle/Senior Python Data Engineer
Компания оперирует несколькими бизнесами, а также запускает или покупает новые. Эти бизнесы значимые продуктовые и финансовые данные хранят не единообразно, а в сыром виде и в ряде случаев не долго. Задача – собрать, агрегировать и дать аналитикам компании данные, а также предоставить инструменты для создания регулярных и adhoc отчётов, требующихся для поддержки управленческих решений.
Технически – data warehouse собственного изготовления. Ингредиентами являются ClickHouse как хранилище и kafka+logstash как транспорт и обработка.
Наши ближайшие цели:
- Внедрить Kafka, чтобы гарантировать доставку данных
- На базе Kafka сделать шину данных с реестром схем сущностей для более надёжных контрактов между поставщиками и хранилищем чем документик в ворде с описанием сущности
- Оптимизировать само хранилище, чтобы стоило меньше или вмещало больше
- Добавить нашему хранилищу «ума» с помощью машинного обучения, чтобы смотреть не только на факты, но выявлять тренды и строить прогнозы
Хотим:
- 3+ года опыта на Python
- Понимания как устроен деплой сервисов: что происходит в Gitlab CI/CD, Ansible, Docker
- Опыт работы хотя бы с частью технологий: ClickHouse, Kafka, Logstash, PostgreSQL, MySQL
- Желателен опыт эксплуатации систем и поиска и решения проблем внутри них.
Даём:
- Белая зарплата с ТК РФ
- ДМС со стоматологией
- Команда разработки полностью на удалёнке.
- Компенсация спорта
- Рабочая машина: Макбук или что-то другое на выбор
- Бюджет на обучение: курсы, конференции
Ключевые навыки:
Аналитика Средний (Middle) Python Kafka ClickHouse PostgreSQL Docker SQL MySQL