Data engineer на продукт Антиспам (Big Data) (удаленная работа)
(вакансия в архиве)

Вакансия: Data engineer на продукт Антиспам (Big Data)

Big Data МТС место, где телеком данные превращаются в реально работающие IT-продукты. Мы создали и протестировали несколько десятков сервисов. Самые успешные из них уже стали частью экосистемы МТС. Например, МТС Маркетолог, рекомендации в KION (МТС ТВ), услуга Кто звонит? или Спам blacklist.

Кого мы ищем?

Обязательно:

• Понимание моделей данных и принципов устройства хранилищ данных
• Хорошее знание SQL, работа с хранимыми процедурами
• Опыт работы хотя бы с одной промышленной БД
• Знание стека Hadoop/Hive/Spark и опыт работы с большими объемами данных
• Знание Python, написание API
• Знакомство с CI/CD и Docker
• Умение вести проекты в GIT

Что предстоит делать?

• Разработка и поддержка пайплайнов обработки данных и машинного обучения на Python и Spark с использованием Airflow, MLflow, а также собственных разработок
• Организация потоков данных в рамках микросервисной архитектуры платформы, реализация обработки данных в хранимых процедурах БД
• Интеграция с внешними системами (FTP, API)
• Поддержка разработанных решений и обеспечение качества данных

Сейчас мы ищем Data Engineer на продукт Антиспам

Антиспам - это база пользователей услуг на основе данных, которая уже превысила 20 млн, блокируется более 120 млн вызовов в месяц. При входящем вызове номера проверяются по справочнику организаций и по спам-базе, которая обновляется в онлайн-режиме с помощью технологий Big Data. Если номер принадлежит спамеру, он не сможет до вас дозвониться

В зависимости от услуги, высветится наименование организации, его категория (при наличии информации), а ненужный звонок блокируется либо направляется на голосового бота или голосовую почту. Абонент затем увидит, какая организация ему звонила, может прослушать оставленное сообщение или прочитать его расшифровку

Цель: защитить абонентов от назойливых нецелевых звонков спамеров, предоставить информации о звонящем номере и цели звонка

Что вы найдете в команде Big Data?

Стек:

• Используем язык программирования Python
• Большие данные храним в Hadoop, обрабатываем на Spark (Pyspark, Scala) и SQL
• Также работаем с данными в PostgreSQL, Teradata, Greenplum
• Стек ML - Pandas, Scikit-learn, XGBoost, PyTorch, Transformers, BERT, MLflow
• Процессы автоматизируем в Airflow
• Контроль версии кода и доступность такового в Git
• Управляем задачами через Jira и Confluence
• Мониторинг: Grafana, Prometheus

Команда: в команде Data engineer сейчас 30 человек (во всей Big Data МТС более 300 человек). Все Data инженеры разработчики поделены на группы со своими лидами. Каждую неделю мы обмениваемся опытом на совместных синках.

Data инженеры работают в продуктах со своей автономной командой, в которой есть все роли: аналитики, DS, разработчики, девопсы, менеджеры продукта.

Условия: каждый месяц - аванс и зарплата, дважды в год - премия. ДМС + стоматология, корпоративная связь, специальные предложения от партнеров и друзей МТС, отпуск 31 день в год. Выдаем 16 MacBook Pro или Dell на выбор.

Есть ли обучение?

• Конференции, митапы
• Корпоративный университет МТС и масштабная виртуальная библиотека
• А ещё мы регулярно обмениваемся опытом на совместных синках с лидами экспертизы

Какой график? Гибкое начало рабочего дня в промежутке с 8 до 11. Есть возможность работать несколько дней вне офиса по договоренности с командой

Сколько этапов при отборе? Не более трех:

1. HR + первое тех. интервью с лидом направления
2. Тестовое задание/второе интервью - по необходимости
3. Собеседование с PO и командой, выбор кандидатом проекта