Задание: Продвижение сайтов . Необходим Seo-специалист+вебмастер. Произвести технические seo работы по сайту. (Дистанционная работа)
Интернет-магазин, опенкарт. 1432 карточки включено в показе товаров. ( Всего 2552 карточки товара с включенной индексацией(1120 выключено из показа, но индексируется) Необходимо: Снять блокировку поисковых и сервисных роботов на уровне сервера. Запросить у хостинга Beget и у разработчика полный список правил фильтрации по имени агента и по подсетям: файл .htaccess в корне сайта, конфигурацию Apache и nginx, правила модуля безопасности, правила брандмауэра. Сейчас код 403 Forbidden от Apache получают агенты bingbot, Screaming Frog SEO Spider, PetalBot, Applebot, Scrapy, ClaudeBot, CCBot, DataForSeoBot, Bytespider, код 503 от nginx получают агенты AhrefsBot, SemrushBot, GPTBot, агент MJ12bot получает разрыв соединения. Убрать из списков все правила, добавленные хостингом в мае 2025 года при переводе ответа на код 429, и все правила, унаследованные при переездах с АдминВПС и СпрингХоста. Оставить в блокировке только агрессивные парсеры по согласованию, поисковые роботы Яндекса, Google, Bing и Mail.ru разблокировать полностью. После правки проверить ответ сервера от имени каждого агента по адресам главной страницы, категории, карточки товара и всех карт сайта. https://_________.ru/ https://_________/vse_kresla/ https://_________.ru/sitemapgoogle.xml https://_________.ru/sitemap_fv.xml https://__________.ru/sitemap.xml 2. Настроить на стороне сервера ограничение частоты запросов по белому списку поисковых роботов. Проверять принадлежность робота обратным DNS-запросом по адресу источника, а не по имени агента: для Яндекса зона yandex.ru, yandex.net и yandex.com, для Google зона googlebot.com и google.com. Роботам из белого списка снять любые ограничения по числу запросов. Остальным клиентам ограничение оставить, но заменить ответ 403 Forbidden и 503 Service Unavailable на 429 Too Many Requests с заголовком Retry-After. Отдельно проверить, что сервер не разрывает соединение без кода ответа: сейчас проверка через сервис bertal.ru возвращает ошибку определения ответа сервера, а не HTTP-код. 3. Включить условные запросы для поисковых роботов. Сейчас страницы отдаются с заголовком Cache-Control: no-store, no-cache, must-revalidate, заголовки Last-Modified и ETag не отдаются вовсе. Робот не может запросить страницу по условию «если изменилась» и каждый раз скачивает её целиком. Настроить отдачу Last-Modified по дате изменения товара или категории и ответ 304 Not Modified на запрос с заголовком If-Modified-Since для всех страниц каталога. 4. Обновить версию PHP. Сейчас сервер работает на PHP 7.3.31, поддержка этой ветки прекращена в декабре 2021 года, обновления безопасности не выпускаются. Необходимо установить совместимую версию для текущей сборки OpenCart и перевести сайт на поддерживаемую ветку. Просьба в предложениях писать время на выполнение + стоимость за всю работу под ключ. Если будут уточняющие вопросы нужные для расчета стоимости - также пишите сразу в предложении.
