Вакансия: Data engineer (Middle)
Описание вакансии
Мы - Wildberries, крупнейший маркетплейс России.
Wildberries - это 30 млн пользователей ежедневно и технологические задачи, у которых нет аналогов. Наша компания стабильно развивается и работает в усиленном режиме: использует современный стек и новейшие технологии, разрабатывает множество новых hi-tech продуктов.
О команде: Ищем к себе опытного Data engineer уровня Middle. С нашей стороны - современный стек, дружная амбициозная команда, легкость и скорость в принятии решении, лояльное руководство, соблюдение work-life balance, удаленный или гибридный формат работы. Горизонтов развития вашего потенциала внутри нашей команды много - все зависит от ваших пожеланий и результатов.
Чем предстоит заниматься?
- Сбор и документация требований к отчетам, витринам, составу данных от заказчиков (бизнес, ИТ, и пр.);
- Поиск данных в компании: идентификация источников, таблиц источников, стримов брокеров сообщений, поиск документации и модели данных;
- Написание SQL/Python-запросов для загрузки, трансформации и выгрузки данных;
- Разработка пайплайнов по сбору, перекладке, трансформации и загрузке данных в Airflow;
- Визуализация данных и отчетов с использованием BI-инструментов и Python;
- Анализ трендов в данных, идентификация паттернов, формирование выводов по результатам анализа;
- Формирование совместно с бизнес-подразделениями гипотез относительно трендов в данных, поведения пользователей и пр., проверка гипотез с использованием данных из дата-платформы;
Мы ждем, что у вас есть:
- Профильное образование в области информатики, статистики, математики или экономики (junior), или опыт работы аналитиком данных или дата-инженером от 2 лет;
- Аналитические навыки: умение проводить анализ больших объемов данных, находить закономерности и объяснять их;
- Навык проведения аналитических исследований: построение гипотез, поиск данных для подтверждения или их опровержения;
- Знание SQL на уровне написания процедур и запросов (вложенные запросы, множественные джойны, оконные функции, партиционирование).
- Знание Python на уровне написания функций обработки (pandas, numpy, scipy).
- Понимание принципов работы ETL-инструментов.
- Опыт работы от 1 года с Airflow (middle, senior).
- Опыт работы от 1 года с Kafka (senior).
- Опыт работы с Clickhouse от 1 года (middle), 2 лет (senior).
- Опыт работы с визуализацией данных (Metabase, Superset и др.) и/или библиотеками Python (Matplotlib, Seaborn).
- Умение самостоятельно проводить декомпозицию задачи на составные элементы и проводить поиск решения.
- Навык командной работы, работы в связке с дата-архитекторами, дата-инженерами для построения готового дата-продукта.
- Понимание принципов Data Governance, опыт разработки активностей по внедрению Data Governance (senior).
- Опыт в оценке производительности SQL-запросов, их рефакторинге и оптимизации (senior).
- Опыт работы с бизнес-заказчиками, сбора требований к данным и трансформации требований в задачи для дата-инженеров (middle, senior).
Мы предлагаем:
- Работа в реальном секторе в кругу сильнейших профессионалов в крупнейшей компании;
- 100% удаленный формат работы или гибридный (2 дня в неделю в офисе м. Парк Культуры, остальное - удаленно);
- Конкурентная заработная плата без задержек;
- Использование современного технологического стека;
- Оформление по ТК РФ с первого дня, также предоставляем другие виды оформления - ИП, ГПХ;
- Гибкие бизнес-процессы, минимум бюрократии и согласований;
- Максимум возможностей для профессиональной самореализации