Вакансия: DevOps BigData Team Lead (DataOps)
Описание вакансии
Компания
Одно из крупнейших Бюро кредитных историй в России. В числе клиентов более 4 миллионов физических лиц, 600 банков, МФО, страховых компаний и операторов сотовой связи.
Что мы делаем?
- Мы храним и обрабатываем кредитные истории более 100 миллионов россиян, уделяя большое внимание не только количеству данных, но и качеству их обработки.
- Предоставляем b2b клиентам данные и аналитику по потенциальным заемщикам, которая помогает им в принятии решения о предоставлении или не предоставлении кредита.
- Даем возможность физ. лицам ознакомиться со своей кредитной историей, получить выгодные предодобренные предложения от банков.
Команда
Департамент платформы данных.
Текущий состав команды: 2 DataOps (1 mid, 1sen). В следующем году планируется увеличение команды +2 DataOps (sen).
В составе департамента платформы данных есть еще несколько команд: Data Engineer, MLOps, SRE-инженеры (администрирование Hadoop + Greenplum).
Основными стейкхолдерами являются команды DS, аналитиков.
Стек
Hadoop, Greenplum, Ceph S3.
Airflow, Spark 3.2.1, Spark streaming, Kafka, SQL, Scala, Python.
Озеро данных Delta Lake (табличный формат данных).
CDC (Debezium).
Источники данных: MS SQL, MySQL, Postgres, Oracle, Redis, GP.
MLOps: Evedently AI, Internet ML, Feast, Jupyter, Git, DVC, MLFlow, ArgoCD, Label studio.
Мониторинг: Prometheus, Grafana, ELK.
Чем предстоит заниматься
- Управление командой из 2 (в перспективе 4) DataOps-экспертов (распределение и постановка задач, контроль их исполнения участие в найме, развитие сотрудников).
- Непрерывное перемещение кода и конфигурации между этапами разработки приложения, сбора данных, стадиями анализа и извлечения из данных полезных сведений.
- Контроль всех этапов жизненного цикла ETL/ELT приложения.
- Автотестирование и развертывание ETL/ELT в продуктивных средах.
- Развертывание модели и управление песочницами.
- Настройка и управлением мониторинга и логирования ETL/ELT приложений.
- Управление и оптимизация производительности ETL/ELT приложений.
- RnD новых инструментов и технологий Big data и ML AI технологий.
Что ожидаем от тебя
- Опыт работы на позиции инженера (DataOps/ DevOps/ DE) от 3-4 лет.
- Опыт работы на позиции Team Lead от 1-2 лет.
- Опыт работы с Airflow .
- Опыт работы с экосистемой кластера Hadoop .
- Опыт построения CI/CD spark jobs (Airflow) .
Что готовы предложить
- Оформление по ТК РФ: фиксированный оклад от 350к на руки + годовой бонус (10% от годового дохода) обсуждается на этапе с рекрутером.
- Компания входит в реестр аккредитованных ИТ компаний.
- Удаленный формат работы (в пределах РФ) . При желании можно работать в офисе класса А (г. Москва, ст. м. Павелецкая, Шлюзовая набережная, 4).
- График работы 5/2, с 9 до 18 по Московскому времени.
- ДМС со стоматологией (с 1 рабочего дня + полис путешественника).
- Частичная компенсация фитнеса / обучения / доп. мед. услуг (лимит - 25 тыс. рублей в год).
- Льготная ипотека (от Сбербанк), в том числе рефинансирование (ставка по ипотеке на 2 пункта ниже).
- Дополнительные дни к ежегодному отпуску (всего 31 день в году).
- Современное оборудование (Lenovo ThinkPad на Windows).
Как мы проводим собеседования
- 15-20 минут - общение с рекрутером (в аудио-формате).
- 60 минут - техническое интервью (google meet, видео встреча).
- 60 минут - интервью с руководителем направления разработки хранилищ данных (google meet, видео встреча).
- Проверка документов 1-2 дня (анкета в электронном виде).
- Оффер, обсуждение даты выхода на работу.
Мы стараемся как можно быстрее принимать решения.
