4 июля 2025
Компания международный провайдер proxy- и data-инфраструктуры. Мы создаём собственную высоконагруженную платформу для web-scraping: API, к которому можно передать любой URL, а на выходе получить чистый HTML или структурированный JSON, без забот о прокси, капчах и анти-ботах.
Платформа будет поддерживать как облачную модель, так и развёртывание в инфраструктуре клиента (on-prem, Kubernetes).
Задачи
Проектирование архитектуры
Data-plane: высокопараллельный краулер, управление сессиями, анти-бот-обход, CAPTCHA-солвер
Control-plane: API, авторизация, биллинг, квотирование, мониторинг
Инфраструктура: микросервисы, Docker/K8s, CI/CD, observability
Лидерство в разработке
Формирование команды: участие в найме backend-, browser-, DevOps- и QA-инженеров
Выстраивание процессов разработки и релизов
Контроль качества кода и технических решений
Исследование и обход анти-ботов
Фингерпринтинг браузеров и сетевых уровней (JA3, TLS, CDP)
Обход защит: Cloudflare, Akamai, Qrator, ServicePipe, Variti и др.
DevOps / SRE
Настройка CI/CD, Helm-чартов, масштабирования
Организация мониторинга (Prometheus, Grafana, Loki) и SLA-процессов
Требования
5+ лет инженерного опыта в высоконагруженных backend-/data-платформах
Отличное понимание HTTP, TLS, HTTP/2, прокси, браузерного стека (CDP, WebRTC)
Опыт с async Python или Go (в идеале оба), Redis, очередями, брокерами
Продвинутый уровень DevOps-инструментов: Kubernetes, Helm, Prometheus, CI/CD
Опыт анализа и обхода систем защиты от ботов большой плюс
Английский язык уверенный (вся документация и часть команды англоязычные)
Умение принимать решения, менторить и брать ответственность за результат
Условия
Участие в разработке ключевого продукта компании с нуля
Высокая автономия и влияние на архитектуру и команду
Бюджет на конференции, курсы, рабочие инструменты
Как податься
Делайте отклик с темой Lead Scraper Platform . Укажите:
Пример проекта, где вы вели разработку или архитектуру сложной backend-/data-системы
Пример сложной задачи обхода анти-бота или фингерпринтинга (если можете)
Ссылку на GitHub, LinkedIn и/или PDF-CV