Scraping Tech Lead (Web scraping & Anti-bot) (удаленная работа)

Вакансия: Scraping Tech Lead (Web scraping & Anti-bot)

Описание вакансии

Web Scraping & Anti-Bot (hands-on, production)

• Реальный опыт промышленного web scraping на большом масштабе (миллионы страниц / запросов в сутки)

• Практический опыт обхода современных anti-bot систем , а не только ротации прокси

• Управление жизненным циклом сессий, поведенческая консистентность, стабильность fingerprint ов

• Работа с CAPTCHA на уровне архитектуры , а не подключили сервис и забыли

Сеть и fingerprinting

• Глубокое понимание HTTP/2, TLS-handshake, JA3 / JA4 fingerprinting

• Умение воспроизводить, модифицировать и маскировать сетевые fingerprint ы

• Понимание блокировок на уровне ISP / ASN и способов их обхода

Browser internals

• Глубокое понимание Chromium / browser stack , CDP, пайплайн выполнения JS

• WebRTC, canvas, audio, fonts, timezone fingerprinting

• Методы детекта headless-браузеров и контрмеры

Архитектура и масштаб

• Проектирование scraping-платформ с разделением data-plane / control-plane

• Распределённые краулеры, адаптивный rate-control, детект банов, retry-стратегии

• Проектирование систем, устойчивых к эскалации защиты со стороны сайтов

Backend

• Async Python (asyncio, aiohttp) в проде на больших нагрузках

• Go для высокопроизводительного сетевого кода / краулинга

• Redis на масштабе (локи, rate-limit, хранилище сессий)

• Очереди и message brokers (Kafka / RabbitMQ / SQS)

Техническое лидерство

• Полная ответственность за архитектуру и техническое развитие платформы

• Code-review с архитектурной экспертизой

• Менторинг senior-инженеров

• Участие в найме и технических интервью