Задание: Веб-программист. Загрузка контента другого сайта на своем домене, модифицирование подгружаемого контента (Дистанционная работа)
Нужно разработать серверную систему загрузки контента третьих сайтов на основе прокси и модификации контента в реальном времени.
- Когда юзер заходит на домен, сервер не хостит контент, а динамически подгружает и показывает контент с другого указанного админом сайта.
- Админ указывает в конфиге текст, который должен быть спарсен и изменен или заблокирован в реальном времени, незаметно для юзера. В конфиге указывается какие страницы сайта должны быть полностью заблокированы и/или правила замены текста.
- Подгружаемый контент незаметно модифицируется согласно правилам и шаблонам и показывается юзеру.
- При изменении конфиг файлов, правила отображение сайта обновляются в реальном времени.
- В зависимости от правил третьих сайтов и сложности задач по парсингу, разработчик продолжает поддержку продукта и предоставляет услугу создания конфигов под отдельный сайт. В любом случае, понадобится понятный формат конфиг файлов и мануал.
Возможные варианты реализации из ChatGPT:
- NGINX Reverse Proxy, HTTP Proxies.
- Проксификаторы, DOM парсеры и модификаторы: Python (BeautifulSoup), Node.js (http-proxy-middleware, Cheerio), Lua (nginx, OpenResty), Golang (httputil.ReverseProxy, goquery).
- YAML для конфиг файлов. Отслеживание изменений конфиг файлов: Python (watchdog), Node.js (chokidar).
- Возможно даже клауд решения - Cloudflare Workers.
