Senior Data Engineer/ Архитектор ClickHouse (удаленная работа)

Вакансия: Senior Data Engineer/ Архитектор ClickHouse

Описание вакансии

О компании

Мы важная часть большой частной структуры с высокой диверсификацией бизнеса Группы компаний Merlion.
Сотрудники компании работают над многими внешними и внутренними проектами, включая развитие ИТ-систем Ситилинка.

Мы не ограничены одной методологией в разработке и используем комбинацию подходов. Поэтому каждый из нас может постоянно развиваться и прокачивать свои навыки, оставаясь важной частью команды.

Рабочие задачи:

• Разрабатывать ETL ELT процессы
• Чинить ошибки, выявленные в ходе эксплуатации
• Разрабатывать общие шаблоны типовых трансформаций, инструментарий автодокументирования и линеджа
• Разработка Framework и инструментов для автоматизации сервисов DWH ETL
• Тестировать свой код, рефакторить код и поддерживать читаемость кода и документации

• Наш стек: OpenMetadata, Python, Vertica SQL, MS SQL, Atlassian Jira, Confluence, Bitbucket/GitLab, SSIS, SSAS, Tabular, S3, PBI, DataLens, ClickHouse, Apache AirFlow, SSRS.

Ваш опыт, навыки и личные качества:

• Уверенное владение SQL, диалекты MPP RDBMS, опыт работы с ClickHouse/ Vertica
• Знание python (практический опыт от 2х лет), обязательно опыт разработки промышленных приложений сложных ETL процессов
• Опыт работы с AirFlow
• Знание принципов организации и типовых практик по загрузке и базовой трансформации (очистка, приведение типов и т.д.) данных
• Навыки получения данных с различных типов источников: БД, API, Web сервисы, e-mail, Kafka, различные форматы файлов (Excel, JSON, Xml, Parquet) на различных источниках (S3, папка, Sftp)
• Понимание как работать в рамках организованного CI/CD процесса

Как мы работаем:

• У нас in-house разработка.
• Долгосрочные проекты игра в долгую (не проектная занятость).
• Используем agile-подход с двухнедельными спринтами.
• Один на один с трудностями не оставляем, всё обсуждаем и помогаем друг другу.

Мы предлагаем:

• Аккредитованная IT компания
• Возможность работать дистанционно из любого города (по московскому времени)
• Конкурентная и полностью белая заработная плата (уровень заработной платы обсуждается по итогам собеседования)
• Высокий профессионализм коллег и адекватное руководство
• Официальное трудоустройство
• Качественное обучение по платформе и процессам компании
• У нас все быстро, без служебных записок и цепочек согласования, личная инициатива поощряется
• Мы предлагаем работу в гибкой, динамичной компании с минимумом бюрократии, где многое зависит от вас.