Data Engineering Team Lead (удаленная работа)

Вакансия: Data Engineering Team Lead

Описание вакансии

Компания ОДСС в поиске Data Engineering Team Lead на проект: Крупное озеро данных (Data Lake) со сложными сценариями приёма и обработки данных из множества источников. Проект на старте нет тяжёлого легаси, много пространства для технических экспериментов и выбора оптимальных решений.

Стек: P ostgreSQL, Python 3, Selenium, Dagster, DuckDB, GitLab, Telegram.

Чем предстоит заниматься:

Руководить командой дата-инженеров (код-ревью, постановка задач, развитие) проектировать конвейеры и инфраструктуру данны
автоматизировать обработку и преобразование данных
настраивать мониторинг и отладку конвейеров.
разрабатывать и поддерживать парсеры (PDF, doc, docx, xls, xlsx).

Что мы ждем от тебя:

Опыт руководства командой (формального или неформального) код-ревью, постановка задач
глубокое знание Python и основных библиотек для работы с данными (pandas, numpy и др.)
опыт парсинга/скрейпинга сложных слабоструктурированных документов (PDF, doc, docx, xls, xlsx)
опыт построения конвейров данных с использованием оркестраторов Dagster или других
понимание управления качеством данных (Data Quality)
понимание мониторинга и отладки конвейеров (логи, метрики, алерты)
знание форматов данных: JSON lines, Parquet, XML, CSV
понимание методов получения/поставки данных: S3, REST API, SOAP, RPC
PostgreSQL уверенное знание - Git ветвление, ревью, merge-стратегии
Английский язык чтение технической документации.

Условия:

• удаленный формат работы
• официальное оформление по ТК РФ
• обучение по рабочей необходимости компенсируем полностью или частично
• испытательный срок 3 месяца