Инженер данных (Data Engineer) (удаленная работа)

Вакансия: Инженер данных (Data Engineer)

Описание вакансии

Что нужно делать:

• проектировать, разрабатывать и оптимизировать структуру данных в корпоративном хранилище;
• проектировать и разрабатывать потоки данных ETL, в том числе писать скрипты SQL и Python, Airflow DAG s;
• разрабатывать и настраивать процессы контроля качества данных в хранилище;
• настраивать и развивать процессы Data Governance;
• обеспечивать масштабируемость и отказоустойчивость платформы данных;
• подготавливать техническую документацию.

Что нужно знать и уметь:

• понимать архитектуру DWH и инструментов, которые с ним связаны;
• знать теорию множеств (пересечение, объединение, подмножества и т.д.);
• знать реляционные базы данных (PostgreSQL, MS SQL);
• знать логические и физические модели данных;
• уметь оперировать структурами данных, таблицами, представлениями, индексами, колонками, хранимыми процедурами;
• иметь опыт работы и понимать применимость современных форматов хранения данных Parquet, Avro, Json, XML и т.п.;
• владеть Python и библиотеками для работы с данными (Spark);
• иметь опыт построения ETL процессов, работы с ETL-инструментами;
• понимать принципы DataGovernance;
• знать open sourse (Kafka, Trino, Data Hub, Airflow).

Что мы предлагаем:

• современный стек и гибкие методологии разработки;
• вовлеченную команду опытных коллег из разных технологических областей, атмосферу открытого диалога и поддержку руководством инициатив;
• трудоустройство в аккредитованную ИТ-компанию Красцветмет.ИТ;
• зарплату по результатам собеседования, премию за достижение высоких результатов работы;
• комфортный офис с благоустроенной территорией; сотрудников, работающих из дома, мы обеспечиваем техникой и офисной мебелью;
• обучение в корпоративном университете и возможность участия во внешних профессиональных мероприятиях (конференции, митапы);
• понятные перспективы карьерного развития у нас разработаны карьерные треки для ИТ-специалистов;
• заботу о здоровье: медицинское страхование, услуги врачей в собственной поликлинике на территории компании в Красноярске;
• компенсацию затрат за занятия спортом;
• удаленную работу.