Data Engineer (удаленная работа)

Вакансия: Data Engineer

Описание вакансии

АО Агропромцифра создано в 2023 году по директиве Правительства РФ для обеспечения информационной безопасности Минсельхоза РФ и подведомственных организаций. Компания является единым поставщиком Минсельхоза России по развитию ряда государственных информационных систем и осуществляет эксплуатацию ГИС.
На данный момент у нас идёт активный рост задач по продуктам и развитию компании, поэтому мы расширяем наш штат и ищем единомышленников для создания новой и прочной структуры. Сейчас мы в поисках Data Engineer и будем рады вашей заинтересованности. Ключевое: требуется обеспечить стабильную загрузку, трансформацию и перепроверку данных для больших объёмов (сотни млн записей) с гарантией воспроизводимости расчётов.

Обязанности:

• Спроектировать и реализовать DAG-и загрузки данных в Python (Airflow / Prefect).
• Разработать ETL/ELT-процессы из операционных БД, API, файлов в аналитическое хранилище.
• Настроить инкрементальную загрузку и механизмы перезалива витрин при исправлении исходных данных.
• Организовать мониторинг и алертинг по пайплайнам.
• Обеспечить idempotency и повторяемость расчётов (для аудита).
• Тюнинг запросов и распределения данных (партиционирование, сортировка).

Требования:

• Опыт разработки ETL/ELT от 3 лет (Middle) / 5+ лет (Senior), причём именно самостоятельного кода, а не настройки out-of-box инструментов.
• Продвинутый Python (типизация, контекстные менеджеры, работа с pandas/polars, написание операторов Airflow).
• Глубокий SQL: умение переписать неоптимальный запрос, понимание блочного выполнения.
• Опыт с одной из систем оркестрации (Airflow обязательно по стеку, Dagster, Prefect как плюс).
• Работа с версионированием схем данных (Liquibase, alembic или ручные миграции).
• Понимание семантики exactly-once / at-least-once, донастройка графа на Memgraph и DGL.
• Самостоятельность: сами формулируете подзадачи, выбираете решения, доводите до продакшена.

Условия:

• Конкурентная заработная плата;
• Работа в аккредитованной it-компании в команде профессионалов;
• Интересные и амбициозные задачи, где ваш опыт будет реально заметен;
• Оплата обучения и участия в профильных мероприятиях;
• Льготные цены на продукцию агропромышленного комплекса.

В Агропромцифре ваши идеи превращаются в проекты государственного уровня. Давайте вместе выращивать цифровое будущее агропрома России!