Дата инженер (удаленная работа)

Вакансия: Дата инженер

Описание вакансии

НИИ ВОСХОД мультисервисный партнер государства в области информационных технологий с 1972 года. Мы создаем инновационные ИТ-решения для органов власти, внедряем и развиваем новые форматы эффективного взаимодействия между государством и обществом.

Институт специализируется на разработке и эксплуатации информационных систем, услугах в области информационной безопасности (в том числе создании средств криптографической защиты информации), а также разработке и развитии ИТ-архитектуры современных информационных систем и цифровых платформенных решений.

НИИ ВОСХОД включен в реестр аккредитованных ИТ-компаний и организаций оборонно-промышленного комплекса.

Ваши будущие задачи:

• Участие в полном жизненном цикле данных: от интеграции источников и обеспечения качества данных до организации удобного доступа для аналитиков и data scientist-ов.
• Проектирование, автоматизация и техническая эксплуатация отказоустойчивых и масштабируемых вычислительных процессов (пайплайнов) для сбора, проверки качества, нормализации, реструктуризации, обогащения больших данных (в том числе геоданных).
• Развитие и оптимизация инфраструктуры данных компании: DWH, Data Lake, систем мониторинга и оркестрации.
• Внедрение лучших практик инженерии данных (тестирование пайплайнов, мониторинг, версионирование, документирование).
• Техническое лидерство и менторство в команде инженерии данных.
• Взаимодействие со смежными командами (аналитики, ML-инженеры, разработчики) для понимания потребностей в данных и реализации эффективных решений.

Для нас важно:

Опыт разработки с использованием:
Python (библиотеки для работы с геоданными, для, анализа данных);

Scala;

S3 (например, MinIO);
ClickHouse;
PostgreSQL, PL/pgSQL;
PostGIS;
Parquet (и друге популярные форматы: Iceberg, Avro, ORC, CSV);
Spark (API на Scala, PySpark);
Dagster (и другие популярные оркестраторы: AirFlow);
SQL;
ОС Linux;

• Будет преимуществом:
  Shapefile;
  JupyterLab (Jupyter Notebook);
  Java;
  Prometheus;
  Graphana;
  ELK;

• Общее знакомство с:
  PostgREST;
  Kafka;
  Docker;
  Kubernetes;
  Istio;
  Hadoop;
  HashiCorp Terraform;
  RedHat Ansible
  Sonatype Nexus;
  Go;
  JavaScript.

• Опыт развития систем обработки больших данных (сбор, нормализация, реструктуризация):
  Анализ потребностей и проектирование архитектуры ПО. Знакомство с DAMA DMBOK, BPMN, микросервисной архитектурой, REST API, Open API;
  Спецификация требований к ПО и данным, разработка логического дизайна ПО. Знакомство с C4, UML, ERD;
  Разработка физического дизайна и кода ПО для процессов обработки данных (пайплайнов);
  Отладка кода, участие в функциональном, нагрузочном, приёмочном тестированиях;
  Оптимизация унаследованного кода;
  Практика CI/CD;

• Опыт технической эксплуатации систем обработки больших данных:
  Развёртывание и настройка процессов обработки данных;
  Мониторинг работы процессов обработки данных
  Устранение сбоев в работе процессов обработки данных;

• Опыт обеспечения качества данных:
  Разработка и тестирование процедур проверки качества данных;
  Мониторинг исполнения и результатов процедур проверки качества данных;
  Участие в устранении инцидентов, связанных с качеством данных.

• Опыт документирования.

Мы предлагаем:

• Работу в команде профессионалов;
• Стабильную белую и конкурентоспособную заработную плату;
• График работы 5/2 с 9-18 либо с 10-19, в пятницу до 16-45/17-45 (формат работы гибрид или удаленно)
• Оформление по ТК РФ;
• Комфортный, просторный офис (м. Проспект Вернадского/Мичуринский проспект);
• Возможность профессионального развития;
• Отсутствие опен-спейсов и строгого дресс-кода;
• Бесплатную охраняемую парковку на территории офиса;
• Тренажерный зал в офисе.