Lead Engineer / Архитектор платформы web-scraping (удаленная работа)

4 июля 2025

Уровень зарплаты:
от 500 000 до 500 000 руб.
Требуемый опыт работы:
Не указан

Вакансия: Lead Engineer / Архитектор платформы web-scraping

Описание вакансии

Компания международный провайдер proxy- и data-инфраструктуры. Мы создаём собственную высоконагруженную платформу для web-scraping: API, к которому можно передать любой URL, а на выходе получить чистый HTML или структурированный JSON, без забот о прокси, капчах и анти-ботах.

Платформа будет поддерживать как облачную модель, так и развёртывание в инфраструктуре клиента (on-prem, Kubernetes).

Задачи

  • Проектирование архитектуры
    Data-plane: высокопараллельный краулер, управление сессиями, анти-бот-обход, CAPTCHA-солвер
    Control-plane: API, авторизация, биллинг, квотирование, мониторинг
    Инфраструктура: микросервисы, Docker/K8s, CI/CD, observability

  • Лидерство в разработке
    Формирование команды: участие в найме backend-, browser-, DevOps- и QA-инженеров
    Выстраивание процессов разработки и релизов
    Контроль качества кода и технических решений

  • Исследование и обход анти-ботов
    Фингерпринтинг браузеров и сетевых уровней (JA3, TLS, CDP)
    Обход защит: Cloudflare, Akamai, Qrator, ServicePipe, Variti и др.

  • DevOps / SRE
    Настройка CI/CD, Helm-чартов, масштабирования
    Организация мониторинга (Prometheus, Grafana, Loki) и SLA-процессов

Требования

  • 5+ лет инженерного опыта в высоконагруженных backend-/data-платформах

  • Отличное понимание HTTP, TLS, HTTP/2, прокси, браузерного стека (CDP, WebRTC)

  • Опыт с async Python или Go (в идеале оба), Redis, очередями, брокерами

  • Продвинутый уровень DevOps-инструментов: Kubernetes, Helm, Prometheus, CI/CD

  • Опыт анализа и обхода систем защиты от ботов большой плюс

  • Английский язык уверенный (вся документация и часть команды англоязычные)

  • Умение принимать решения, менторить и брать ответственность за результат

Условия

  • Участие в разработке ключевого продукта компании с нуля

  • Высокая автономия и влияние на архитектуру и команду

  • Бюджет на конференции, курсы, рабочие инструменты

Как податься

Делайте отклик с темой Lead Scraper Platform . Укажите:

Пример проекта, где вы вели разработку или архитектуру сложной backend-/data-системы

Пример сложной задачи обхода анти-бота или фингерпринтинга (если можете)

Ссылку на GitHub, LinkedIn и/или PDF-CV



Посмотрите похожие вакансии

Lead Engineer / Архитектор платформы web-scraping
Компания: Не указано
Зарплата: от 500 000 до 500 000 руб.