Ведущий инженер-разработчик качества данных (удаленная работа)

Вакансия: Ведущий инженер-разработчик качества данных

Описание вакансии

Описание продукта: Вы будете работать в группе инженерии качества данных, целью которой является обеспечение высокого уровня качества данных в информационных потоках компании. Мы используем современные подходы и инструменты для достижения наилучших результатов в работе с данными.

Обязательные навыки:

• Опыт работы с инструментами для обработки и анализа данных (SQL, Python и др.) от 2х лет.
• Понимание основных принципов работы с большими данными.
• Опыт работы с системами контроля версий (Git).
• Опыт работы с Airflow, Apache Spark (PySpark).
• Опыт работы с ClickHouse, GreenPlum.
• Опыт разработки и реализации проверок качества данных.
• Понимание процессов ETL и опыт работы с соответствующими инструментами.
• Способность работать самостоятельно и в команде.
• Навыки решения технических задач.

Желательные навыки:

• Опыт работы с Great Expectations или другими инструментами для автоматизации тестирования качества данных.
• Опыт работы с MSSQL.
• Знакомство с методологий agile-разработки (Scrum, Kanban).
• Знания ЯП Java/Scala.

Задачи:

• Разработка и реализация проверок качества данных с использованием Great Expectations.
• Проведение код-ревью и оптимизация существующих процессов проверки данных.
• Сотрудничество с командами разработки и аналитики для улучшения процессов сбора, хранения и обработки данных.
• Анализ проблем качества данных и выработка рекомендаций по их устранению.
• Поддержка и развитие воркфлоу для автоматизации тестирования и мониторинга качества данных.