Проектирование и реализация решений для интеграции источников данных (MongoDB, Kafka, S3, Postgres) в DWH;
Работа с API различных сервисов для получения данных;
Оптимизация запросов и архитектуры хранения в колоночных СУБД;
Разработка сервисов обработки данных на Python (Pandas, Pydantic);
Участие в проектировании архитектуры хранилища;
Документирование архитектуры и процессов обработки данных;
Требования:
Опыт работы Data Engineer от 2-ух лет;
Уверенное владение Python 3.8+. Понимание принципов ООП, многопоточности, асинхронности и инструментов работы с БД (psycopg2, clickhouse-driver, SQLAlchemy);
Практический опыт работы с Apache Airflow (2.10+), реляционный СУБД (Postgres), Kafka;
Знание форматов данных JSON, XML, AVRO, Parquet;
Опыт работы с GIT;
Будет плюсом:
Опыт работы с Clickhouse, OpenMetadata, Docker, k8s, Debezium;
Опыт в развертывании и администрировании Apache Airflow (2.0+).
