Вакансия: Data Engineer
Описание вакансии
НЛМК крупнейший в России и один из самых эффективных в мире производителей стальной продукции. Производственные активы в России, Европе, Азии и США.
Мы создаем совершенную сталь для ключевых отраслей: от строительства до ветроэнергетики. Разрабатываем новые технологии и внедряем передовые цифровые решения.
Наша команда состоит из ML и CV DS, MLOps и DE.
Мы занимаемся созданием моделей машинного обучения для реального производства.
Мы ищем ещё одного крутого инженера, желающего развиваться в направлении Data Engineering.
Чем предстоит заниматься:
- Ведение актуальное документации по витринам, источникам данных;
- Построение витрин в S3 хранилище, ClickHouse;
- Интеграция с внешними сервисами (Web сервисы, БД, Kafka);
- Написание ETL пайплайнов на PySpark;
- Создание DAG-ов в Airflow;
- Визуализация результатов на дашбордах (Superset, Redash);
- Проведение код-ревью, рефакторинг Python кода;
- Развитие Web сервиса на FastAPI;
- Оптимизация PySpark кода;
- Исследование источников данных: владельцы, методы расчета, помощь DS-ам в подготовке данных;
- Внедрение DQC (Data Quality Checks).
Для нас важно:
- Опыт построения витрин данных;
- Опыт настройки ETL процессов;
- Практический опыт S3, Hadoop, ClickHouse, PostgreSQL;
- Знание Superset, Redash;
- Опыт работы с PySpark, Kafka, Airflow, DBT, flyway;
- Знание языков SQL, Python, Java (опционально);
- Опыт использования FastAPI (опционально);
- Опыт работы с Docker, Kubernetes.
Работа в группе НЛМК - это:
- ДМС, санаторно-курортное лечение;
- Корпоративная мобильная связь;
- Консультации юриста, психолога, финансового советника, эксперта по ЗОЖ;
- Дистанционные (телемедицинские) онлайн-консультации врачей;
- Программы комплексного медицинского обследования Check up;
- Частичная компенсация стоимости корпоративного питания;
- Корпоративный спорт: возможности занятий спортом, спортивные соревнования, семейные спортивные праздники;
- Детские новогодние подарки, детский отдых на льготных условиях;
- Ежегодная индексация зарплаты;
- Премия за достижение ключевых показателей;
- Корпоративная пенсионная программа;
- Уникальные технологические и инновационные проекты;
- Открытая корпоративная культура для новых идей и предложений;
- Высокие стандарты безопасности труда и культуры производства;
- Современное технологичное оборудование;
- Возможности для саморазвития и обучения Корпоративный и Технологический университет, электронные библиотеки, участие в конференциях, содействие в повышении квалификации, программы
профессионального и карьерного развития, изучение иностранного языка, развитие наставничества; - Программы поощрения сотрудников.
