Senior Data Engineеr (удаленная работа)

Вакансия: Senior Data Engineеr

Описание вакансии

Aegis IT бутик-компания в сфере IT-аутстаффинга , работающая со специалистами с уровня senior и lead.

Мы работаем с заказчиками, которые ценят результат, автономность и зрелый инженерный подход.

Со специалистами мы выстраиваем партнёрскую модель сотрудничества:
подберем проекты под твой уровень экспертизы, нагрузки и профессиональные интересы , обеспечим прозрачные условия и будем сопровождать на всех этапах работы от выхода на проект до его завершения или перехода на следующий.

Сейчас у нас в работе есть несколько проектов на позицию Senior Data Engineer

Чем предстоит заниматься:
Все проекты разноплановые, но мы выделили усредненные задачи:

• Разработка и оптимизация ETL-пайплайнов (Apache Spark / SQL / Airflow)
• Подготовка и загрузка данных (структурированных и неструктурированных)
• Проектирование и развитие витрин данных (Greenplum / ClickHouse / Oracle / PostgreSQL)
• Разработка и оптимизация SQL и PL/SQL-кода (включая сложные процедуры)
• Работа с Data Lake / DWH / Lakehouse архитектурой
• Обеспечение качества данных и контроль загрузок (SLA, ретраи, батчинг)
• Подготовка данных для BI-систем (Superset / Qlik / SSAS и др.)
• Разработка и поддержка банковской и управленческой отчетности
• Участие в автоматизации регуляторной отчетности
• Взаимодействие с BI-разработчиками, аналитиками и DevOps
• Сопровождение систем (2 3 линия поддержки, анализ инцидентов, оптимизация)
• Улучшение производительности и стабильности data-систем
• Ведение документации и базы знаний

Основные требования:

• Отличное знание SQL:
  аналитические функции
  оптимизация запросов
  чтение планов выполнения
  написание сложных процедур/функций
• Опыт работы в банковской сфере или финтехе
• Опыт разработки банковской или регуляторной отчетности
• Понимание бухгалтерского учета и финансовых процессов
• Опыт работы с DWH / Data Lake
• Понимание архитектуры хранилищ данных и моделей данных
• Опыт проектирования потоков загрузки данных (ETL)
• Опыт работы с одной или несколькими СУБД:
• PostgreSQL / Oracle
• Greenplum / ClickHouse / Arenadata (или другие MPP)
• Опыт работы с Apache Spark (или готовность быстро освоить)
• Опыт работы с Hadoop (HDFS, Hive)
• Опыт работы с Airflow или аналогами
• Понимание принципов распределённых систем
• Опыт работы с Jira / Confluence
• Уверенные знания Linux
• Опыт работы с ETL-инструментами (Informatica и др.)

Будет преимуществом:

• Опыт работы с Oracle PL/SQL, APEX
• Опыт работы с OLAP-кубами (SSAS)
• Опыт работы с BI-инструментами (Superset, Qlik, Tableau и др.)
• Опыт работы с Kafka
• Опыт работы с Kubernetes / Docker / OpenShift
• Опыт работы с мониторингом (Grafana, Kibana, Zabbix)
• Понимание Data Governance
• Опыт сопровождения систем (ITIL)

Условия:

• Поток действительно интересных проектов, релевантных твоему опыту и с учетом текущей загрузки
• Формат работы 5/2, полная или частичная занятость
• Оформление в удобном для тебя формате: ИП или самозанятость
• Полная удаленка
• Возможность менять проекты внутри компании с учётом твоей экспертизы, интереса и текущей загрузки.
• Прозрачность условий и коммуникации, поддержка на всех этапах до выхода на проект и во время работы.