Data Engineer (удаленная работа)

Вакансия: Data Engineer

Описание вакансии

Наша задача развитие лотерейной культуры в России. Сделать лотереи по-настоящему национальной традицией, объединяющей поколения, где каждый сможет найти свою игру.

В связи с развитием компании, ищем Data Engineer .

Команда занимается построением Data Platform (хранилище данных, разработка API, ETL, алгоритмов проверки и аналитики данных), а так же интеграцией различных сервисов в аналитическую платформу Национальной Лотереи.

Задачи:

• Решение платформенных задач для разработчиков, а также кросс-доменные аналитические задачи для конечных пользователей;
• Работа с высоконагруженной инфраструктурой, повышение надежности, производительности и расширяемости пайплайнов данных;
• Проектирование и разработка аналитических витрин данных на базе СУБД Greenplum и вывод в промышленную эксплуатацию;
• Разработка ETL/ELT-процессов;
• Разработка и поддержка сопроводительной документации и спецификаций данных, модели данных, развитие и поддержка базы знаний по вопросам работы с данными;
• Разработка сопроводительной документации при прохождении тестовых и приемо-сдаточных испытаний, спецификаций на загрузку данных, расчет сайзингов;
• Предоставление экспертной поддержки внутренним потребителям (data analysts, data scientists) по вопросам, связанным с использованием данных;
• создание инструментов для автоматизации рутинных задач, связанных с обработкой данных;
• Создание прототипа логики сборки витрины на SQL и Spark;
• Проверка качества данных в источниках и бизнес-витринах.

Наши ожидания:

• Знание алгоритмов и структуры данных;
• Знание подходов и принципов архитектуры построения корпоративных хранилищ, озер данных и data mart (Inman, Kimball, Data Vault 2.0, Star schema, Snowflake);
• Знание архитектуры МРР СУБД (Greenplum);
• Опыт разработки ETL-процессов, построения хранилищ и витрин данных;
• Знание SQL на экспертном уровне (аналитические функции, подзапросы, хранимые процедуры, оптимизация запросов);
• Языки: SQL, Python, Java/Scala;
• Стек: YandexCLoud, S3, Greenplum, PostgreSQL, Prometheus, Airflow, dbt, ClickHouse, PowerBI, Grafana, Data catalog, RLS, Hadoop, Spark, Kafka, Docker, Git, CI/CD, Jira/Confluence, ER diagram.

Мы предлагаем:

• Оформление согласно ТК РФ;
• Удаленный формат работы;
• ДМС со стоматологией после испытательного срока;
• Гибкое время работы (обсуждается индивидуально);
• Регулярное повышение зарплаты по результатам работы;
• Реальная возможность карьерного роста- штат компании за последний год увеличился в два раза, в первую очередь мы рассматриваем кандидатов на повышение из внутреннего кадрового резерва.