Data Engineer (Senior) (удаленная работа)

Вакансия: Data Engineer (Senior)

Описание вакансии

О роли

Twinby один из крупнейших российских дейтинг-сервисов, миллионы пользователей. Мы перестраиваем разработку Twinby CIS и собираем команду данных заново. Данные продукта приходят из множества источников продуктовые сервисы, события приложений, платежи, маркетинг и должны надёжно доезжать туда, где на них строят аналитику и принимают решения.

Data Engineer здесь единая точка ответственности за движение данных : чтобы они доехали полностью, без потерь и дублей, вовремя и в предсказуемом виде. Ты строишь и держишь пайплайны как настоящий продакшн-сервис, а не как набор разовых выгрузок.

За что ты отвечаешь

• Захват и доставку данных из продуктовых источников в аналитический контур: потоковый и пакетный ingestion, изменения и удаления, а не только снимок на вчера .

• Надёжность доставки : идемпотентность и дедупликация, обработка поздних и переупорядоченных событий, воспроизводимый пересчёт после сбоя.

• Оркестрацию пайплайнов : запуск по готовности источников, а не по таймеру; зависимости, ретраи, бэкфиллы без даунтайма и без задвоения.

• Качество данных : тесты данных, проверки свежести и полноты, сверки с источниками, обнаружение аномалий так, чтобы расхождение было видно раньше, чем его заметит потребитель.

• Наблюдаемость пайплайнов : метрики доставки, лаг, алерты на разрыв; разбор инцидентов данных до причины и защита от повтора.

• Контракты и эволюцию схемы : изменения источника не должны молча ломать поток; обратная совместимость и понятные границы ответственности.

Ты работаешь в связке с командой аналитики: ты отвечаешь за то, что данные доезжают надёжно , аналитика за модель и метрики поверх них.

Кого мы ищем

Data Engineer, который владел движением данных целиком , а не писал разовые выгрузки. Для этого направления это значит:

• Инженерия доставки. Ты думаешь про гарантии доставки, идемпотентность и дедуп на рефлексе; перезапуск пайплайна для тебя не повод бояться дублей.

• Поток, а не только снапшот. Тебе близок захват изменений из меняющихся под тобой баз, поздние и out-of-order события, инкрементальная загрузка на больших объёмах.

• Качество как часть инженерии. Ты сам ставишь тесты данных, проверки свежести и сверки, а не ждёшь, пока кто-то заметит, что данных не хватает.

• Надёжность пайплайнов. SLA на свежесть, наблюдаемость, разбор инцидентов без поиска виноватого для тебя это обычная инженерная гигиена.

• Зрелость в выборе. Ты решаешь, где достаточно at-least-once с дедупом, а где нужна более строгая семантика, и не усложняешь там, где не нужно.

Мы смотрим на доказанную глубину владения движением данных, а не на длину списка инструментов.

Будет плюсом

• Опыт построения потоковой доставки или захвата изменений с продуктовых баз на масштабе.

• Опыт бэкафилла большой истории и миграции хранилища без остановки потока.

• Опыт работы с платёжными или иными потоками, где дубль и потеря стоят дорого.

Чего НЕ требуем

Заученного синтаксиса конкретного оркестратора, сертификатов, знания именно нашего стека или домена дейтинга. Важнее инженерная зрелость и то, что данные у тебя доезжают надёжно и предсказуемо.

Технический стек

Потоковая и пакетная обработка данных, захват изменений (CDC), оркестрация пайплайнов, аналитические хранилища, Python и SQL.

Clickhouse, Apache Airflow

Что предлагаем

• Планку с нуля : команда данных собирается заново то, что ты заложишь в надёжность и качество данных, станет стандартом.

• Настоящую инженерную систему : пайплайны как продакшн-сервис, тесты данных и наблюдаемость вместо ручных сверок, разбор инцидентов без вины.

• Автономию владельца ты решаешь как движется поток данных; цели и направление обсуждаешь с командой и руководителем.

• Масштаб и большие данные, где инженерия движения имеет вес.

• Формат: удалёнка, РФ.