Архитектор программного обеспечения (большие данные) (удаленная работа)

Вакансия: Архитектор программного обеспечения (большие данные)

Описание вакансии

Вместе с нами тебе предстоит:

- Проектирование системы самообслуживания для задач Data Science и Data Engineers;

- Проектирование инструментов использования GPU-узлов в задачах DS и DE;

- Проектирование взаимодействия с Платформой исполнения моделей;

- Согласование архитектуры с заинтересованными подразделениями;

- Взаимодействие с бизнес-владельцами систем с целью уточнения особенностей бизнес- процессов и используемых объектов;

- Выявление рисков и недостатков в существующей архитектуре;

- Управление архитектурным долгом системы

Какие знания и навыки для нас важны:

- Понимание жизненного цикла моделей;

- Опыт участия в проектах с GPU-устройствами;

- Знание основных архитектурных нотаций (C4 ArchiMate UML);

- Знание основных инструментов DS/DE (JupyterHub, MLflow, DVS, Dash, R);

- Знание платформ контейнеризации (Kubernetes/Openshift);

- Опыт проектирования в концепции DDD понимание ее преимуществ и ограничений (микросервисная архитектура)

Будет плюсом:

- Знание основных инструментов DevOps;

- Знание одной из реляционных СУБД;

- Опыт работы со стеком Hadoop (Spark, Hive, Yarn);

- Желателен опыт работы с ML со стороны Data Science/Data Engineers;

- Желательно знание принципов построения ИТ инфраструктуры с реализацией схем HA (High Availability) и DR (Disaster Recovery)

Технологический Стек :

Arenadata Hadoop, Object Storage (ceph, s3)

PostgreSQL,

Kubernetes

Kafka, Kafka Streams, Airflow, ELK, Prometheus, Grafana

Nexus,

Языки Scala, Python, SQL