Data Engineer (удаленная работа)

Вакансия: Data Engineer

Описание вакансии

Дата инженер

Что по задачам?

Проектирование архитектуры загрузки данных: выбор стратегии репликации (CDC, batch), настройка инструментов трансфера

Развёртывание и конфигурация кластеров ClickHouse, PostreSQL, MariaDB, Mongo(партиционирование, оптимизация схем под запросы)

Разработка и поддержка ETL-процессов: обеспечение целостности, дедупликации, обработка ошибок;

Мониторинг производительности пайплайна, оптимизация запросов к базе данных, работа с планами выполнения

Автоматизация рутинных операций с помощью Python/Bash;

Взаимодействие с командой инфраструктуры по вопросам сетевой доступности и безопасности коммуникации с заказчиком и смежными командами;

Проектирование таблиц и витрин (raw stage mart);

Партиционирование, TTL, дедупликация;

Контроль качества данных, алерты и проверки, разбор инцидентов;

Поддержка production-витрин и базы данных;

Поиск узких мест в запросах, переписывание тяжелых SQL

Сложные join ы по user identity, оптимизация стоимости хранения

Подготовка витрин для аналитики, сборка цепочек событий, Schema evolution

Идемпотентные пайплайны и ретраи и работа с массивами и nested структурами

Минимизация чтения данных и оптимизация нагрузки на кластер

Что по навыкам?

Наш стек: ClickHouse; S3-хранилище; Airflow; Python; JSON; Mongo. Maria DB, PostreSQL, Data Late

Опыт работы >

..разработки и поддержки end-to-end пайплайнов данных, получения данных из различных типов API;

..с потоковой обработкой данных и разработки ETL-процессов и с большими таблицами (десятки/сотни миллионов строк)

Опыт работы от 3х лет;

Мастер владения SQL (оконные функции, оптимизация запросов, анализ планов, процедуры), опыт работы с PostgreSQL, MariaDB;

Умение работать с GIT;

Уверенное знание работы потоков;

Python для обработки данных;

Понимание партиционирования и инкрементальных загрузок;

Понимание идемпотентности, ретраев, backfill;

Linux: уверенное владение командной строкой, работа с логами, systemd

Будет +++ > >

Опыт

+ ..с облачными платформами (любой: Yandex Cloud, AWS, Azure) развертывание управляемых баз данных, объектных хранилищ;

+ ..в проектах Яндекса или стартапах экосистемы Яндекса;

+ Знание Kafka, Debezium, Airflow;

+ Знание предметных областей: банки, кредитные риски;

+ Понимание основ информационной безопасности при передаче данных

Что мы предлагаем?

+ Конкурентоспособную заработную плату по итогам прохождения технического собеседования;

+ Полностью удаленная работа, можно работать из любой точки мира;

+ Рабочий график 5/2 с 9 до 18 по МСК, но само собой важно выполнять задачи по дедлайнам и быть на связи, ведь это удаленка;

+ Оформление по договору ГПХ или по ИП РФ;

+ Команда на драйве, фанаты своего дела и сильное окружение, с которым ты растешь только вперед! Свободное презентация и продвижение ваших идей мы вас слышим