Senior Data Engineer (удаленная работа)

Вакансия: Senior Data Engineer

Описание вакансии

Мы Международная IT компания , имеющая аккредитацию в Сколково. Наши продукты - это мобильные приложения высокотехнологической нагруженности в сегменте онлайн-платформ, способствующих общению, созданию контента и установлению связей между людьми по всему миру.

Мы ищем тех, кто готов стать инициатором глобальных изменений и внести свой вклад в развитие нашей индустрии. В данный момент у нас открыта вакансия Senior Data Engineer.

Основные задачи:

• Разработка и оптимизация архитектуры облачного хранилища данных (Data Lake + Data Warehouse);
• Написание ETL/ELT пайплайнов обработки данных;
• Создание и поддержка витрин данных;
• Развитие инструментов контроля и поддержания качества данных (data quality / data governance).

Что мы ждем:

• Отличные знания SQL: оптимизация запросов, понимание планов запроса, внутренней работы SQL (оптимизация запросов, join, типы индексов и тд);
• Уверенное знание Python: написание API (Django, fastAPI), алерт-ботов, небольших скриптов и сервисов;
• Понимание ETL-оркестраторов: Airflow, Dagster (dbt);
• Понимание концепции (звезда, Data Mesh, Data Vault) хранилищ данных (DWH, Data Lake): слои, витрины, агрегаты, Data Quality;
• Знание инфраструктурных инструментов: Docker, bash, git, CI/CD, kubernetes, grafana, sentry;
• Опыт работы с clickhouse.

Необязательно, но хорошо если:

• Работал с hadoop, spark;
• Есть навык писать сервисы с нуля;
• Есть опыт проектирование архитектуры DWH;
• Есть опыт работы с сервисами AWS Amazon.

Условия:

• GPU/CPU сервера в облаке;
• Топовое оборудование и весь необходимый софт;
• Офис в шаговой доступности от метро Добрынинская / Серпуховская;
• Возможность удаленной работы;
• Возможность получения опциона;
• Гибкий график.