Старший инженер данных (Middle+/Senior) (удаленная работа)
(вакансия не опубликована)

Вакансия: Старший инженер данных (Middle+/Senior)

Описание вакансии

Обязанности:

Реализация высоконагруженных конвейеров обработки данных для обеспечения надежной и бесперебойной репликации данных из ИТ-систем банка;

Реализация комплексных задач по подготовке данных в целевых аналитических хранилищах (DataLake, SandBox, FeatureStore) для построения признаков, необходимых для разработки моделей машинного обучения;

Разработка и поддержание в актуальном состоянии документации по разработанному функционалу;

Разработка контролей качества данных;

Своевременное отражение статуса выполнения задач в Jira;

Проверка качества кода (код-ревью), написанного инженерами и младшими инженерами данных;

Заполнение информации по витринам данных ДПА в OpenMetaData (инструмент ДУД для процессов управления данными DataGovernance).

Требования:

Python - уверенное знание структур данных и алгоритмов, эффективное применение принципов ООП и ФП (Функциональное программирование), опыт написания модульных и интеграционных тестов, знание и опыт применения библиотек обработки и анализа данных - numpy, pandas;

Опыт разработки и внедрения в промышленную эксплуатацию сервисов загрузки и обработки неструктурированных и слабо структурированных данных (текст, xml, json) из внешних источников;

Способность разобраться с API поставщиков данных, используя доступную документацию;

SQL - умение создавать сложные запросы с использованием аналитических оконных функций и использовать инструменты профилирования для оптимизации их производительности, опыт работы с БД Oracle, Postgres, Greenplum, Cassandra;

Уверенное знание и опыт работы с инструментами разработки, планирования и мониторинга рабочих процессов (workflow engines) пакетной обработки данных - Airflow/Oozie;

Опыт разработки сложных, высоконагруженных приложений обработки данных на основе Spark (scala, pyspark), уверенное знание настроек Spark и их влияния на производительность приложений Spark, умение профилировать приложения Spark для оптимизации их производительности;

Опыт разработки приложений и сервисов потоковой обработки данных (real-time) на основе Kafka, Flink;

Владеет навыком ориентироваться в коде, написанном другими разработчиками;

Linux: продвинутые навыки работы с командной строкой

Опционально:
- понимает процессы Data Goverment, Data Quality
- имеет опыт решения задач с BI-инструментами (PowerBI/Tableau)

Условия:

Стабильную работу в одном из крупнейших банков страны;

Сильное DS community, большое разнообразие рабочих и внерабочих активностей;

Конкурентную заработную плату, соцпакет;

Условия для роста и развития (в т.ч. конференции, тренинги, внутренние программы развития).

Дружный коллектив единомышленников (все специалисты, занимающиеся машинным обучением объединены одним департаментом для максимально плотного и продуктивного обмена знаниями).

Передовой стек технологий, высокопроизводительное оборудование.

Возможность решать разнообразные прикладные задачи с выводом в промышленную эксплуатацию, возможность существенно влиять на результат (в т.ч. в бизнес-смысле) и способы его достижения (вплоть до внесения изменений в архитектуру).

Квартальный бонус по результатам работы;

ДМС, страхование жизни;

корпоративное обучение;