Data Engineer (удаленная работа)

Вакансия: Data Engineer

Описание вакансии

Привет) Мы АЭРО провайдер e-commerce и data-решений. Делаем онлайн-шопинг простым и приятным, а магазины надежными и безопасными. Нам доверяют М.Видео, Мегафон, Глория Джинс, Лента, Hoff и др.

В команду к молодым и дружным разыскивается молодой и дружный))))

С нами тебе предстоит:

• Автоматизировать дата-пайплайны;
• Участвовать в построении хранилищ данных: проектирование, определение сущностей, моделирование данных, формирование витрин данных;
• Разрабатывать и оптимизировать процессы выгрузки данных из различных источников (БД, GCS, S3, Kafka, API's);
• Разрабатывать процессы обработки данных (batch, stream, near real-time);
• Проводить оркестрацию ETL/ELT процессов в Airflow, Nifi;
• Поддерживать аналитическую инфраструктуру;
• И много другого дико интересного)).

Наш стек:

• ClickHouse, GreenPlum, PostgreSQL, Vertica;
• Yandex.Cloud, Arenadata, Google Cloud;
• Python;
• Spark;
• SQL;
• Airflow, Nifi, dbt;
• Git (Gitlab);
• data vault / business data vault;
• Kafka, K8s, debezium;
• *здесь может быть прикольная технология, которую ты предложишь внедрить*.

Что реально крутого делаем (это точно прокачает твои hard skills!!!) :

• Много экспериментируем с разными технологиями и связками технологий;
• Разворачиваем и настраиваем потоки данных в Airflow (в том числе с KubernetesPodOperator);
• Тестируем и настраиваем выгрузку данных в Greenplum через gpfdist, pxf, s3 механизмы, а также через Greenplum Connector for Apache Spark;
• Проводим качественные исследования по новым методам забора данных из различных БД;
• Разрабатываем и тестируем способы укладывания дельты изменений между слоями данных в Greenplum;
• Пишем и тестируем кастомные Airflow Operator-ы;
• Исследуем подходы к оптимизации БД и реализуем их (Clickhouse, Greenplum).

Что предлагаем:

Мы готовы гибко обсуждать любые условия. Будем исходить из ожиданий успешного кандидата. Базовый пакет включает:

• Команда, открытая твоим идеям, свобода действий и доступ к ресурсам;
• Клиенты, чей опыт и продукт драйвит;
• Гибридный или удаленный формат работы, свободное начало дня (м. Достоевская). Старательно создаем из офиса третье место , культурное пространство, куда стягиваются люди (вечеринки, настольные игры, кинопросмотры, винный клуб и всё такое)))
• ДМС, компенсация на изучения английского языка, занятия спортом и внешнего обучения.