Инженер данных (удаленная работа)

Вакансия: Инженер данных

Описание вакансии

М.ТЕХ - АККРЕДИТОВАННАЯ ИТ-КОМПАНИЯ В ГРУППЕ М.ВИДЕО-ЭЛЬДОРАДО

КОМАНДА М.ТЕХ разрабатывает более 100 инновационных ИТ-продуктов на основе современной микросервисной и облачной инфраструктуры, больших данных, биометрии, ИИ и машинного обучения для улучшения качества жизни десятков тысяч сотрудников и миллионов покупателей по всей России.

ПРО ПРОДУКТ: Мы разрабатываем и поддерживаем инфраструктуру обработки данных: проводим миграцию с текущего стека (Greenplum + ClickHouse) на современный (Trino + Iceberg), оптимизируем ETL процессы, обеспечиваем надёжность и производительность pipeline.D

В ТВОИ ЗАДАЧИ БУДЕТ ВХОДИТЬ:

• Поддержка и оптимизация текущих ETL процессов на базе Greenplum и ClickHouse;
• Проектирование и реализация миграции данных и запросов с Greenplum на Trino, с ClickHouse на Iceberg. Участие в проектировании Data Lake/Data Warehouse на основе Iceberg;
• Разработка и поддержка пайплайнов обработки данных (Airflow);
• Оптимизация запросов и схем хранения для Trino/Iceberg/ClickHouse;
• Обеспечение качества данных и автоматизация рутинных операций;
• Ведение документации.

ЧТО МЫ ЖДЕМ ОТ КАНДИДАТА:

• Опыт работы в роли Data Engineer от 2 лет;
• Продвинутый уровень владения SQL: сложные запросы, оптимизация, работа с партициями, индексами;
• Уверенный опыт работы со Spark;
• Опыт работы c Kafka;
• Уверенное владение Python(обработка данных, скрипты, API);
• Опыт работы с Trino/Iceberg/ClickHouse/Greenplum;

БУДЕТ ПРЕИМУЩЕСТВОМ:

• Опыт работы с Flink (для расширенной обработки);
• Понимание data governance и data quality практик;
• Опыт миграции данных между СУБД/форматами (например, Greenplum Trino, ClickHouse Iceberg);

ЧТО ТЫ ПОЛУЧИШЬ:

• Продукты, признанные на рынке (несколько премий за Лучший Интранет, хит-парад премий за лучшее ИТ-решение в ритейле) и имеющие амбициозные планы на развитие;
• Конструктивный диалог и возможность внедрять свои идеи, если они способствуют достижению общего результата;
• Команду увлеченных профессионалов, которая открыта к поиску нового;
• Конкурентную заработную плату, гибкое отношение к рабочему месту (посещение офиса в Инновационном центре Сколково на гибриде, но ты можешь работать удаленно по РФ);
• ДМС со стоматологией.