Вакансия: Team Lead DevOps / DataOps (Big Data)
Описание вакансии
Компания
Одно из крупнейших аккредитованных Бюро кредитных историй в России.
Что мы делаем?
- Храним и обрабатываем кредитные истории более 100 миллионов россиян.
- Предоставляем банкам, МФО, страховым компаниям данные и аналитику на основе моделей машинного обучения (скоринг).
- Даем возможность физ. лицам ознакомиться со своей кредитной историей, узнать свой кредитный рейтинг и получить выгодные предодобренные предложения от банков.
Команда
Департамент платформы данных.
Текущий состав команды: 2 DataOps инженера (1 mid, 1sen) + Team Lead (вакансия) .
В следующем году планируется увеличение команды DataOps инженеров до 4х.
В составе департамента платформы данных есть еще несколько команд:
Data Engineer (команда загрузки данных и разработки витрин),
MLOps (внедрение инструментов автоматизации ЖЦ ML моделей),
SRE-инженеры (администрирование Hadoop + Greenplum).
Основными стейкхолдерами являются команды разработки, DS и аналитиков.
Стек Data и ML платформы
Hadoop , Greenplum, Ceph S3.
Airflow , Spark 3.2.1, Spark streaming, Kafka, SQL, Scala, Python.
Озеро данных Delta Lake (табличный формат данных).
CDC ( Debezium ).
Источники данных: MS SQL, MySQL, Postgres, Oracle, Redis, GP.
MLOps: Evedently AI, Internet ML, Feast, Jupyter, Git, DVC, MLFlow, ArgoCD, Label studio.
Мониторинг: Prometheus, Grafana, ELK.
Чем предстоит заниматься
- Управление командой из 2 (в перспективе 4) DataOps-экспертов (распределение и постановка задач, контроль их исполнения участие в найме, развитие сотрудников).
- Разработка CI/CD пайплайнов, оптимизация Spark jobs для:
Scala сервисов (доставляются jar артефакты) / Python окружений,
DAGs (поддержка процессов). - Интеграция автотестов в пайплайн.
- Администрирование Airflow (2-я линия поддержки).
- Контроль всех этапов жизненного цикла ETL/ELT приложения.
- Настройка и управление мониторингом и логированием ETL/ELT приложений.
- Оптимизация производительности ETL/ELT приложений.
- RnD новых инструментов и технологий Big data и ML AI технологий.
Что ожидаем от тебя
- Опыт работы на позиции инженера (DataOps/ DevOps/ DE) от 3-4 лет.
- Опыт в роли Team Lead от года.
- Опыт администрирования Airflow .
- Опыт работы с экосистемой кластера Hadoop (на уровне начального администрирования).
- Опыт построения CI/CD spark jobs (Airflow) .
Что готовы предложить
- Фиксированный оклад + годовой бонус (10% от годового дохода) обсуждается на этапе с рекрутером.
- Оформление по ТК РФ.
- Компания входит в реестр аккредитованных ИТ компаний.
- Удаленный формат работы . При желании можно работать в офисе класса А (г. Москва, ст. м. Павелецкая, Шлюзовая набережная, 4).
- График работы 5/2, с 9 до 18 по Московскому времени.
- ДМС со стоматологией (с 1 рабочего дня + полис путешественника).
- Частичная компенсация фитнеса / личного обучения (25 тыс. рублей в год).
- Дополнительные дни к ежегодному отпуску (всего 31 день в году).
- Современное оборудование (Lenovo ThinkPad на Windows).
Как мы проводим собеседования
- 15-20 минут - общение с рекрутером (в аудио-формате).
- 60 минут - техническое интервью (google meet, видео встреча).
- 60 минут - интервью с руководителем направления разработки хранилищ данных (google meet, видео встреча).
- Проверка документов 1-2 дня (анкета в электронном виде).
- Оффер, обсуждение даты выхода на работу.
Мы стараемся как можно быстрее принимать решения.
