Резюме: Data Engineer

Опыт работы с данными - более 2 лет. Основное направление - разработка и поддержка процессов загрузки и обработки данных, построение аналитических витрин, автоматизация и контроль качества данных.

Основной стек:
SQL, ClickHouse, PostgreSQL, Python, Pandas, NumPy, Polars, Prefect, Airflow, ETL/ELT, DWH, Docker, Git, REST API, S3/MinIO, Parquet

Опыт и задачи:

- разработка и поддержка ETL/ELT-процессов;
- построение и сопровождение витрин данных;
- работа с ClickHouse и большими объёмами данных;
- написание сложных SQL-запросов: JOIN, CTE, подзапросы, оконные функции;
- оптимизация SQL-запросов и структуры хранения данных;
- автоматизация обработки и загрузки данных на Python;
- контроль качества и полноты данных;
- настройка регулярных загрузок, retry-механизмов, логирования и мониторинга процессов;
- работа с REST API, JSON, CSV и Parquet;
- Git, Docker, Linux, Jira.

Есть практический pet-проект потоковой обработки данных:

Kafka - PySpark - S3/MinIO - ClickHouse

В рамках проекта реализованы чтение событий из Kafka, обработка данных в PySpark, сохранение в объектное хранилище и последующая загрузка в ClickHouse. Понимаю принципы построения DWH, слои staging/DDS/data marts, партиционирование и особенности MPP-СУБД.