Data Engineer (удаленная работа)

Вакансия: Data Engineer

Описание вакансии

Velpharm Group это ведущий игрок в фармацевтической индустрии, специализирующийся на разработке, производстве и дистрибуции лекарственных средств.

Мы стремимся к инновациям и улучшению качества жизни людей по всему миру.

вакансия : Data Engineer

Чем необходимо будет заниматься:

• Проектирование и оптимизация хранилищ данных : создание и настройка схем баз данных для PostgreSQL, MS SQL и ClickHouse, включая партиционирование, кластеризацию и индексацию для повышения производительности.
• Разработка и поддержка ETL-процессов : создание пайплайнов для извлечения, трансформации и загрузки данных с использованием AirFlow (настройка DAG, зависимостей, ретраев) и Kafka для потоковой обработки. Проектировать и реализовывать ETL-слои для информационных потоков.
• Интеграция данных : подключение к различным источникам (API, FTP, S3), обработка и загрузка данных в целевые хранилища.
• Оптимизация запросов : написание и оптимизация SQL-запросов с использованием оконных функций, CTE, JOIN и других конструкций, анализ планов выполнения (EXPLAIN).
• Мониторинг и обеспечение надёжности : настройка алертов, логирование, тестирование пайплайнов, обеспечение отказоустойчивости и масштабируемости систем.
• Работа с инструментами : использование Python для скриптов, dbt для декларативных SQL-трансформаций, настройка интеграций с внешними системами.
• Управление данными и их качеством : Разработка метрик и автоматизированных проверок качества данных (например, выявление дубликатов, аномалий, несогласованных форматов). Внедрение процедур очистки, нормализации и преобразования данных на этапах ETL. Участие в создании стандартов хранения данных (Data Governance), включая классификацию, метаданные, политики доступа и сроки хранения.
• Архитектурное проектирование : Проектирование и поддержка архитектуры хранилищ данных (Data Warehouse / Data Lake) на базе PostgreSQL, ClickHouse. Оптимизация структур данных в ClickHouse (выбор движков таблиц, партиционирование, TTL, репликация). Выбор и реализация процедур инкрементальной загрузки данных из источников. Построение звездных/снежинковых схем для аналитических отчетов и дашбордов. Интеграция с ClickHouse для обеспечения гибкости анализа (например, через внешние таблицы или промежуточные слои).
• Поддержка аналитических процессов : Создание витрин данных (Data Marts) для аналитиков, актуариев и менеджеров. Оптимизация SQL-запросов в ClickHouse для работы с высоконагруженными сценариями (например, расчет резервов убытков, моделирование рисков). Автоматизация регулярной отчетности в части подготовки данных (ежедневные/ежемесячные дашборды для руководства).

Требования к кандидату

• Опыт работы с СУБД : глубокие знания PostgreSQL и MS SQL, понимание особенностей ClickHouse (например, колоночной архитектуры, оптимизации для аналитических запросов).
• Навыки работы с инструментами : практический опыт использования AirFlow для оркестрации пайплайнов, Kafka для потоковой передачи данных.
• Программирование : владение Python (обязателен), желательно знание Scala или Java для работы с распределёнными системами.
• Знание ETL-процессов : понимание принципов извлечения, трансформации и загрузки данных, опыт построения сложных пайплайнов
• Опыт с распределёнными системами : понимание принципов работы Hadoop, Spark (желательно).
• Soft skills : системное мышление, коммуникативные навыки, умение работать в команде, аналитическое мышление.

Дополнительные преимущества

• Опыт работы с облачными платформами (AWS, GCP, Azure).
• Знание принципов Data Governance и управления качеством данных.
• Опыт работы с CI/CD и контейнеризацией (Docker, Kubernetes).
• Понимание бизнес-процессов и умение переводить бизнес-требования в технические решения.

Условия работы

• Формат: полный рабочий день.
• Уровень: Junior/Middle/Senior

• оформление по ТК РФ с первого дня; офис- Москва-Сити, башня Федерация;

• график работы: 5/2 (гибрид, удаленный формат обсуждается);

• корпоративное обучение, возможность профессионального роста;

• частичная компенсация питания.

  Присоединяйтесь к Velpharm Group будущее фармацевтики начинается здесь!