ETL Разработчик (удаленная работа)

Вакансия: ETL Разработчик

Описание вакансии

LIAN системный интегратор с фокусом в аналитике и управлении данными.

Мы работаем в трех направлениях:

1. Автоматизация управленческой отчетности (BI) в малом и среднем бизнесе. Строим хранилища данных, настраиваем сбор и интеграцию, разрабатываем отчеты и дэшборды. Наш стек в BI включает все современные инструменты, в том числе open-source ПО.

2. Заказная разработка аналитических систем. Когда у нашего клиента есть специфичный запрос, мы разрабатываем аналитические системы с нуля. Часто применяем подходы BigData, Data Science, актуальные подходы к программному анализу данных и прогнозированию.

3. Запуск и ресурсное обеспечение команд разработки в комплексных проектах цифровой трансформации. Мы усиливаем команды наших партнеров и клиентов собственными сотрудниками и обеспечиваем максимально быстрый старт новых проектов. Среди наших заказчиков - крупные системные интеграторы, банки, нефтегазовые, химические производства, логистические компании, стартапы.

Обязанности:

• Разработка, доработка и поддержка ETL/ELT-процессов
• Построение и оптимизация data flow с использованием Apache NiFi
• Разработка интеграционных маршрутов на базе Apache Camel
• Интеграция различных источников данных (API, БД, файловые системы и др.)
• Работа с batch и streaming обработкой данных
• Оптимизация SQL-запросов и повышение производительности обработки
• Работа с хранилищами данных (DWH / Data Lake)
• Обеспечение надежности, отказоустойчивости и масштабируемости решений
• Участие в тестировании и внедрении решений в промышленную эксплуатацию

Требования:

- Опыт разработки ETL/ELT-процессов (извлечение, трансформация, загрузка данных)

- Уверенное знание и практический опыт работы с Apache NiFi (построение data flow, процессоры, интеграции)

- Опыт работы с Apache Camel (роутинг, интеграционные паттерны, настройка маршрутов)

- Понимание принципов обработки данных (Data Processing), включая batch и streaming-подходы

- Опыт работы с хранилищами данных (Data Warehouse, Data Lake)

- Уверенные знания SQL (написание сложных запросов, оптимизация)

- Опыт интеграции различных источников данных (REST API, базы данных, файловые хранилища и т.д.)

- Понимание форматов данных (JSON, XML, CSV, Avro и др.)

- Опыт работы с системами очередей (Kafka, RabbitMQ или аналоги)

- Знание одного из языков программирования (Java / Python)

Будет плюсом:

• Опыт работы с Big Data инструментами (Hadoop, Spark)
• Опыт работы с облачными платформами (AWS, GCP, Azure)
• Опыт контейнеризации (Docker, Kubernetes)
• Опыт работы с оркестраторами (Airflow и др.)

Условия:

• Трудоустройство по ИП/СЗ
• Удаленная работа по РФ, 5/2 по МСК
• Работа с современными и передовыми технологиями
• Широкие возможности для профессионального и карьерного роста