Разработка и поддержка ETL-процессов: создание и доработка загрузок данных из API, файлов, внутренних баз данных и других источников, поддержка регулярного обновления данных.
Работа с Airflow: разработка и сопровождение DAG, настройка расписаний, зависимостей, повторных запусков, обработка ошибок, разбор падений и задержек в загрузках.
Работа с хранилищами и витринами: разработка таблиц и витрин в ClickHouse/PostgreSQL, написание SQL-запросов, оптимизация запросов, подготовка данных для отчетности, аналитики, внутренних сервисов и задач разработки.
Контроль качества данных: проверка полноты, актуальности, дублей, пропусков и расхождений, улучшение существующих загрузок с точки зрения стабильности, прозрачности и надежности данных.
Поддержка инфраструктуры направления данных: работа с серверной средой, Airflow, базами данных, логами, техническими ошибками и вспомогательными процессами, необходимыми для стабильной работы данных.
Работа с внутренними инструментами: участие в тестировании и сравнении внутренних инструментов/субагентов для разработки, исправления и стандартизации DAG.
Документирование загрузок и витрин: описание источников, логики обработки, расписаний, проверок качества данных, зависимостей и возможных ошибок.
Нам важно:
Опыт работы в data engineering, DWH, ETL-разработке, аналитической разработке или смежной роли от 1,5 2 лет.
Уверенное знание SQL.
Опыт работы с PostgreSQL, ClickHouse или аналогичными СУБД.
Опыт или уверенное понимание Apache Airflow: DAG, расписания, зависимости, retries, логи, обработка ошибок.
Python для задач обработки данных, автоматизации, работы с API и файлами.
Понимание принципов ETL: извлечение, трансформация, загрузка, обновление данных.
Опыт загрузки данных из API, файлов или баз данных.
Готовность разбираться в существующем коде, чужих DAG и неидеальной документации.
Мы предлагаем:
Оформление по ТК РФ (полностью белая заработная плата, стабильный и прозрачный доход, оплачиваемые отпуск и больничные);
График работы - гибридный, 5/2 с 9:00 до 18:00, (сокращённая пятница);
Современный уютный офис с комфортными зонами отдыха (7 минут пешком от м. Алексеевская);
Свобода выполнения задач ты сам определяешь, как достигать целей, выбираешь подходы и методы. Нет жестких рамок только результат!
Свои сервера и инфраструктура наши дата-инженеры живут в собственной, полностью оборудованной инфраструктуре офиса. Это позволяет быстро решать любые вопросы с системой долгого ожидания, обеспечивая максимальную оперативность и независимость.
Высокий уровень самостоятельности у тебя есть возможность самостоятельно планировать и реализовывать свои задачи, не теряя оперативности и гибкости.
Много направлений для экспериментов работа с большими данными, искусственный интеллект, автоматизация выбирай то, что интересно именно тебе.
Активное использование искусственного интеллекта мы внедряем современные технологии, и у тебя есть уникальная возможность быть в авангарде этих изменений.
Гибкость в выборе направления деятельности хочешь перейти на другую роль или направление? При желании ты можешь изменить свою специализацию и развиваться в интересных тебе сферах.
