Вакансия: Data Engineer (Middle)
Описание вакансии
Мы создаем Информационно-аналитический центр, который будет агрегировать данные из всех подразделений компании (разработка ПО, hardware-производство, сервисное сопровождение), анализировать их и предоставлять инсайты для принятия стратегических решений.
Для этой задачи мы ищем Data Engineer (Middle), отвечающего за построение ETL-процессов, создание витрин данных и обеспечение их доступности для аналитиков и руководителей.
Мы предлагаем:
- работу в продуктовой команде с интересными задачами для реализации решений в b2g и b2b секторе;
- работу в аккредитованной ИТ-компании;
- трудоустройство в полном соответствии с ТК РФ и белая конкурентная заработная плата;
- гибридный режим работы с преимущественно дистанционной формой;
- гибкое начало рабочего дня по согласованию с руководителем;
- предоставление ДМС после испытательного срока;
- проведение team building и корпоративов;
- квартальная и годовая премия.
Обязанности:
Инфраструктура данных:
- проектирование и поддержка ETL/ELT-процессов для агрегации данных из различных источников (БД разработки, логи оборудования, метрики продаж, сервисные обращения);
- оптимизация пайплайнов обработки данных для повышения скорости и надежности;
- работа с DWH (ClickHouse, PostgreSQL, Greenplum), Data Lakes (MinIO, S3);
- взаимодействие с архитектурной и инфраструктурной командами в области оптимизации моделей данных.
Подготовка данных:
- очистка, трансформация и нормализация данных (включая полуструктурированные/неструктурированные данные);
- создание витрин данных для аналитиков и BI-систем (например, Superset, Tableau, Power BI);
- автоматизация процессов сбора и обработки данных (Airflow, Dagster, Prefect).
Интеграция и мониторинг:
- настройка интеграции с источниками данных (API, message brokers Kafka, RabbitMQ);
- мониторинг качества данных и алертинг о проблемах (Great Expectations, DBT tests);
- взаимодействие с командами разработки и аналитиками для уточнения требований к данным.
Требования:
- опыт работы от 2-х лет в роли Data Engineer или в смежной роли (ETL-разработчик, Analytics Engineer);
- практический опыт работы с SQL (оптимизация запросов, оконные функции);
- опыт работы с облачными/on-prem DWH (ClickHouse, Postgres, BigQuery, Redshift).
Технический стек:
- Python (Pandas, PySpark, SQLAlchemy) или Rust (для highload-обработки);
- инструменты оркестрации: Airflow, Luigi, Dagster;
- форматы данных: Parquet, Avro, JSON;
- базовые знания DevOps (Docker, Kubernetes, CI/CD).
Soft Skills:
- умение работать с кросс-функциональными командами (разработка, аналитика, продажи);
- понимание бизнес-метрик и способность адаптировать дата-пайплайны под их нужды.
Будет преимуществом:
- опыт работы с IoT/embedded-данными;
- знание ML-методов (как минимум feature engineering);
- опыт работы в hardware/software-компаниях.
Дополнительно (будет плюсом):
- опыт работы с timeseries-данными (например, метрики оборудования);
- участие в построении ML-пайплайнов (подготовка данных для моделей);
- базовое понимание Rust/Python для обработки высоконагруженных данных.
