Вакансия: Дата инженер (Data engineer)
Описание вакансии
Привет, наш будущий Коллега!
Мы в поиске Инженера данных .
Наша команда занимается разработкой моделей машинного обучения, аналитикой и визуализацией данных. В настоящий момент данные разрознены между отделами, подразделениями и многочисленными контрагентами и предстоит объединить, структурировать их и создать единое хранилище, которое станет основой для работы аналитиков и Data Scientist. Мы стремимся к тому, чтобы все данные были легко доступны для анализа и визуализации, создавая функциональные дашборды для принятия обоснованных решений.
Сейчас команда состоит из трех человек.
У нас ты будешь:
- Разрабатывать, обслуживать и развивать DWH Clickhouse.
- Наполнять хранилища данных актуальной информацией из различных источников.
- Реализовывать, автоматизировать и поддерживать ETL процессы.
- Обеспечивать надёжное хранение, обработку и передачу данных между системами.
- Вести техническую документацию.
Для нас важно:
- Законченное высшее физико-математическое или IT образование.
- Опыт работы от 3 лет.
- Уверенные знания SQL, Python.
- Знание моделей и структур проектирования баз данных.
- Понимание процессов загрузки и обработки данных ETL и ELT.
- Опыт работы с базами данных PostgreSQL, Oracle, GBQ.
- Знание основных принципов и технологий: GitLab, Spark, Kubernetes, ArgoCD, Prefect (Airflow).
- Аналитические способности и умение решать сложные задачи.
Будет преимуществом:
- Знание Java или Scala.
- Опыт разработки DWH хранилищ с нуля.
Стэк :
Spark on Kubernetes в инфраструктуре Yandex Cloud. В качестве оркестратора процессов используется Prefect. Используем Yandex Object Storage как Data Lake.
У нас тебя ждет:
- Команда, которая поможет влиться в коллектив и процессы: составим onboarding-план, ознакомим с документацией, расскажем о проектах.
- Оформление ТК РФ и белая ЗП.
- Конкурентоспособный уровень дохода (отталкиваемся от ожиданий и твоей квалификации).
- График работы 5/2. Гибкое начало рабочего дня с 8:00 до 10:00.
- Формат работы офис/гибрид.
- Лояльное руководство, возможность влиять на принятие решений.
- Комфортные условия труда: современный, светлый офис, мягкие зоны отдыха на каждом этаже.
- Корпоративные мероприятия, благотворительные проекты, подарки к праздникам и значимым датам.
