DataOps инженер (удаленная работа)

Вакансия: DataOps инженер

Описание вакансии

ТехВилл IT-компания и партне р ВкусВилл по развитию цифровых решении .

Мы отвечаем за разработку мобильных и web- приложении , автоматизацию бизнес-процессов, искусственныи интеллект, devops, инфобез ВкусВилла.

Нашими решениями пользуется свыше 1 000 000 клиентов и сотрудников ВкусВилла.

На данный момент мы ищем DataOps , который будет участвовать в роботизации и автоматизации процессов во ВкусВилл .

Технологический стек:

• MLOps & Experiment Tracking: MLflow, ClearML, DVC, Rerun;
• Data Management & Storage: LakeFS, MinIO, DuckDB, PostgreSQL;
• Orchestration & Scheduling: Apache Airflow 2, Kubernetes, Docker;
• Visualization & BI: Apache Superset, Grafana, Prometheus;
• Development & Research Environment: JupyterHub, Conan, NVIDIA Isaac Sim/Lab, Mujoco, Llama.

Обязанности:

• Настройка мониторинга, бэкапов, безопасности;
• Обучение команды работе с инфраструктурой;
• Поддержка и масштабирование;
• Поддержка и развитие инфраструктуры обработки данных с роботов;
• Написание DAG'ов;
• Оптимизация SQL-запросов к Data Lake;
• Создание дашбордов в Superset.

Требования:

Опыт в MLOps и управлении экспериментами:

• Глубокие знания MLflow или ClearML для трекинга экспериментов и управления реестром моделей;
• Опыт работы с DVC для версионирования данных.

Работа с данными и хранилищами:

• Опыт работы с объектными хранилищами (MinIO/ S3);
• Опыт построения Data Lake решений с использованием LakeFS3.

Оркестрация и инфраструктура:

• Экспертные знания Kubernetes;
• Уверенное владение Docker и написание оптимизированных образов.

Мониторинг и BI:

• Настройка мониторинга системы и инфраструктуры: Prometheus +Grafana.

Python (продвинутый уровень):

• Опыт написания production-кода, понимание особенностей работы с большими данными (эффективность операций, например, сложность append и альтернативы);
• Уверенная работа с библиотеками: pyarrow (создание/чтение таблиц, партицирование), duckdb (встраиваемый SQL-движок);
• Опыт использования многопроцессности (multiprocessing, concurrent.futures) для параллельной обработки данных.

SQL (средний уровень):

• Умение писать аналитические запросы (агрегации, оконные функции);
• Понимание разницы между DuckDB и Pandas для аналитических задач.

Apache Airflow:

• Понимание архитектуры Airflow: DAG, операторы (Python, Bash, Docker), XCom;
• Практический опыт написания DAG'ов для ETL-процессов;
• Понимание, зачем используется Airflow.

Docker и контейнеризация:

• Уверенное владение Docker CLI: inspect, system, ps, rm, exec и другими командами для диагностики;
• Знание docker compose: чтение и написание конфигураций, добавление новых сервисов, работа с сетями и томами;
• Навыки отладки внутри контейнеров (просмотр логов, проверка состояния файловой системы, запуск вспомогательных команд).

Хранение данных и форматы:

• Опыт работы с объектными хранилищами, совместимыми с S3 (MinIO или аналоги);
• Понимание, зачем используется Parquet (колоночное хранение, сжатие, эффективность запросов) и его преимущества перед построчными форматами.

Визуализация данных (Apache Superset):

• Готовность заниматься рутинной работой по созданию и поддержке дашбордов;
• Понимание структуры Superset: виртуальные датасеты, SQL Lab 7.

Условия:

• Работа в аккредитованной IT-компании.
• Официальное оформление с первого дня работы и поддержка куратора во время адаптации.
• Прозрачная система развития: понятные грейды, внутреннее и внешнее обучение, индивидуальные планы развития и матрицы компетенций.
• Экологичная культура и адекватные руководители.
• Компенсация затрат на медицинские услуги, ментальное благополучие, спорт, тимбилдинги и использование AI-помощников.
• Бонус 15% с покупок во ВкусВилл.
• Социальная ответственность: поощряем донорство, оказываем материальную помощь при рождении ребёнка.
• Партнерская программа Зелёный свет : за рекомендации знакомых специалистов можно получить до 50 000 руб.