Вакансия: Data Engineer Middle
Описание вакансии
Компания
CodeScoring занимается разработкой решений для автоматизированного анализа исходных кодов в сфере информационной безопасности и оценки качества программных продуктов.
Ключевой продукт компании
CodeScoring , платформа анализа программного обеспечения для безопасной работы с open source, проверки совместимости лицензий и оценки качества кода в разрезе команды.
Офис компании находится в Петербурге на Петроградской стороне, часть сотрудников работает удаленно.
Наши ожидания: Мы ищем инженера уровня middle, который усилит нашу команду, занимающуюся обработкой и интеграцией данных. Основная предметная область информационная безопасность: уязвимости, программные пакеты, библиотеки и связанные с ними артефакты.
Технологический стек :
Важно : у нас не Big Data в классическом понимании. Мы сосредоточены на качестве данных и устойчивости пайплайнов, а не на объёмах в петабайтах.
Основные задачи и обязанности: Условия: - Разработка data-пайплайнов (DAG'ов) для интеграции новых источников данных с обилием сериализаторов и кастомной логики на Python
- Поддержка существующих пайплайнов, включая адаптацию к изменениям на стороне источников, обработку некорректных или повреждённых данных
- Рефакторинг текущего кода и снижение технического долга
- Создание вспомогательных инструментов и служебных DAG'ов для работы с данными
- Написание SQL-миграций и SQL-запросов для трансформации данных (PostgreSQL, Clickhouse), а также оптимизация этих запросов
- Участие в задачах, связанных с качеством данных валидация, обогащение, очистка, преобразование и прочее
- (Опционально) Работа над задачами административной панели backend и UI
Участие в поддержке и развитии мониторинга пайплайнов настройка алертов, контроль SLA и смежные задачи
Требования:
- Опыт работы от 1 года
- Желание работать с данными и развиваться в направлении Data Engineering
- Опыт именно в data-проектах не обязателен подойдёт опыт в backend-разработке на Python, написании скриптов и т.п. В этом случае важно уверенное владение Python
- Знание Python 3.x на уровне junior/middle
- Знание SQL на уровне простых SELECT-запросов, фильтрации, OFFSET и др. и готовность развиваться в этой части
- Опыт работы с PostgreSQL или другой аналогичной SQL-базой на уровне пользователя
Условия: - Официальное оформление по ТК РФ с первого дня работы;
- ДМС после прохождения испытательного срока;
- Развитие технических навыков и возможность роста;
- Гибкие начало и конец рабочего дня;
- Удаленка / офис / гибрид - на выбор;
- Участие в профильных конференциях.
