Data Engineer (удаленная работа)

Вакансия: Data Engineer

Описание вакансии

LIAN системный интегратор с фокусом в аналитике и управлении данными.

Мы работаем в трех направлениях:

1. Автоматизация управленческой отчетности (BI) в малом и среднем бизнесе. Строим хранилища данных, настраиваем сбор и интеграцию, разрабатываем отчеты и дэшборды. Наш стек в BI включает все современные инструменты, в том числе open-source ПО.

2. Заказная разработка аналитических систем. Когда у нашего клиента есть специфичный запрос, мы разрабатываем аналитические системы с нуля. Часто применяем подходы BigData, Data Science, актуальные подходы к программному анализу данных и прогнозированию.

3. Запуск и ресурсное обеспечение команд разработки в комплексных проектах цифровой трансформации. Мы усиливаем команды наших партнеров и клиентов собственными сотрудниками и обеспечиваем максимально быстрый старт новых проектов. Среди наших заказчиков - крупные системные интеграторы, банки, нефтегазовые, химические производства, логистические компании, стартапы.

Обязанности:

• Проектирование и разработка отказоустойчивых пайплайнов обработки данных (batch / near real-time)
• Разработка и поддержка ETL/ELT-процессов
• Оркестрация и автоматизация процессов обработки данных (Airflow)
• Работа с распределёнными системами хранения и обработки данных
• Оптимизация производительности запросов и пайплайнов
• Обеспечение качества, консистентности и доступности данных
• Участие в развитии архитектуры DWH (в том числе Data Vault)
• Взаимодействие с аналитиками, BI и backend-командами

Требования:

• Уверенный опыт работы Data Engineer от 2 3 лет
• Глубокое понимание принципов построения ETL/ELT-процессов
• Опыт работы с Airflow (построение DAG, мониторинг, оптимизация)
• Опыт работы с MPP/SQL-движками: Trino / Greenplum
• Уверенное владение SQL и опыт оптимизации запросов
• Опыт разработки на Python
• Опыт работы с распределёнными вычислениями (Spark)
• Опыт работы с объектными хранилищами (S3)
• Опыт работы с аналитическими СУБД (ClickHouse)
• Опыт работы с Git
• Понимание подходов к моделированию данных (Data Vault / DWH)

Условия:

• Трудоустройство по ИП/СЗ
• Удаленная работа , 5/2 по МСК
• Работа с современными и передовыми технологиями
• Широкие возможности для профессионального и карьерного роста