QIWI разрабатывает внутреннюю систему, которая собирает информацию про микросервисы (их более 1000), разрабатываемые в компании. Информация собирается из множества разных источников: github, teamcity, grafanа и др. Система была написана как MVP на Рython, и сейчас нам уже сложно развивать её с нормальной скоростью. Поэтому мы ищем коллегу, знакомого с инструментами из мира Data Engineering, который поможет нам построить удобный для разработки и масштабируемый data pipeline.
Мы ожидаем что вы сможете построить с нуля etl/ELT data pipeline, развивать его и инструменты для сбора данных из разных источников и быстрых экспериментов. С нас свобода в выборе стека, интересная предметная область, много технических челенджей и демократичный руководитель).
Обязательное требование:
- опыт разработки на Рython на уровне Middle,
- опыт работы с airflow или другим оркестратором - обязательно