Lead data engineer (удаленная работа)

22 декабря 2024

Уровень зарплаты:
з.п. не указана
Требуемый опыт работы:
Не указан

Вакансия: Lead data engineer

Описание вакансии

О компании:

Мы создаем единую распределенную систему масштаба страны, которая преобразит опыт совершения покупок, а именно позволит "оцифровать" каждую единицу товара уже к 2025 году.

Это позволит каждому покупателю быть уверенным в качестве и происхождении товара, а производителям и продавцам - не только уменьшить долю неоригинальной продукции на рынке, но и оптимизировать производственно-логистические процессы и сократить издержки за счет возможностей аналитической подсистемы.

Уже сейчас система обрабатывает миллиарды транзакций ежедневно и оперирует петабайтами данных на скоростях десятки тысяч запросов в секунду.

О команде:

Данные это нефть 21 века. Данные Честного знака - настоящий клондайк , глобальное месторождение эксклюзивных фактов о товарообороте страны. Мы трекаем поэкземплярно весь товарооборот маркированных товарных групп и на этом строим уникальные показатели.

Мы ищем крепкого техлида в bigdata-команду, обладающего экспертными знаниями в области построения систем на базе Hadoop/Spark, способного продумать и реализовать дорожную карту по развитию Озера данных Честного знака .

Технологический стек:

Текущий стек команды: Hadoop / S3 MinIO / Spark 3 (batch/streaming) / Scala / SQL / Parquet / Hive / Kafka / HBase / ClickHouse / PostgreSQL / Airflow / Zeppelin / Jupyter.

Смотрим в сторону: Protobuf на замену json / Iceberg для MOR, COW / DBT для золотого слоя данных / Cassandra на замену HBaseю

Наши данные в цифрах: поток > 20k RPS, > 600 млрд. фактов, > 6Пб данных в HDFS.

Чем предстоит заниматься:

  • Руководить выделенной распределенной командой.
  • Предлагать, отстаивать и реализовывать архитектурные решения.
  • Руководить проектированием, разработкой и внедрением ключевых решений Озера данных с высококачественным образцовым кодом.
  • Внедрение каталога данных, data lineage и бизнес-глоссария.
  • Тесное сотрудничество с другими командами департамента по внедрению разработанных решений.
  • Влияние на стратегию развития архитектуры платформы, руководство исследованиями и разработкой пилотных решений.

От успешного кандидата мы ожидаем:

  • Опыт построения хранилищ больших данных.
  • Уверенные знания и опыт работы в стеке Spark (batch/streaming) on Hadoop.
  • Опыт работы с реляционными БД.
  • Экспертное знание SQL, уверенное знание Scala.
  • Способность вести талантливых разработчиков к достижению конкретных целей в установленные сроки, а также нанимать и наставлять новых разработчиков.
  • Способность руководить полным циклом процессов разработки программного обеспечения, который включает в себя: планирование, проектирование архитектуры, реализацию кода, тестирование и производственное развертывание.
  • Практический опыт автоматизации ML задач.
  • Знание и опыт работы с DevOps, понимание принципов CI/CD в области обработки данных.

Что вам точно понравится:

  • Сложные и интересные задачи, работа с реально большими объемами данных и современным востребованным стеком.
  • Возможность поработать с новыми технологиями и прокачать скиллы, постоянно развиваться.
  • Молодая, экспертная, увлеченная и талантливая команда, у которой можно многому научиться, культура открытости и взаимопомощи.
  • Конкурентная ЗП, оформление по ТК РФ.
  • ДМС со стоматологией после испытательного срока, ДМС для семьи с корпоративными скидками.
  • Страхование жизни и здоровья.
  • Корпоративный психолог.
  • Buddy-поддержка во время адаптации.
  • Обеспечиваем рабочей техникой на базе последних Macos / Windows.
  • Возможность участия в митапах, конференциях.
  • Гибкое начало рабочего дня.
  • Возможность работать удаленно/частично удаленно, в офисе в Москве или Санкт-Петербурге.
  • Корпоративный мерч.
  • Кафетерий льгот (возмещение расходов на любое самообразование, спорт, ДМС для членов семьи, доступ к ИТ сервисам и т.д).


Посмотрите похожие вакансии

Tech Lead Data Engineer
Компания: Точка
Зарплата: от 430 000 до 430 000 руб.
Lead Data Engineer
Компания: AliExpress
Зарплата: з.п. не указана
Team Lead Data Analyst
Компания: Ащеулова Алена Игоревна
Зарплата: от 300 000 до 450 000 руб.
Senior Database Engineer
Компания: ОнТаргет ЛАБС
Зарплата: от 800 256 до 800 256 руб.