Здравствуйте
Мой сайт начал сильно тормозить и отключатся, произошло это по проблеме активной индексации моего сайта ботами yandex
Я спустил обход в веб мастере на самый минимальный но это не помогло.
Вот их сообщение:
Проверили ситуацию с сайтом
Скрытая информация
, видим, что на данном ресурсе располагается очень большое число ссылок с get-параметрами по адресам вида
Скрытая информация
/?action=pub_profile&id=100&type=5&c=466&l=611717 . Так как таких ссылок очень и очень много, робот может совершать достаточно большое число обращений, чтобы проиндексировать их все. Если такие страницы не должны индексироваться, например, их контент уже есть в поиске на других страницах сайта, вы можете ограничить их индексирование в robots.txt сайта, например, директивами вида:
Disallow: *type=
Disallow: *id=
Тогда робот будет знать, что индексировать их не нужно, и не будет к ним обращаться, это в свою очередь должно помочь уменьшить число запросов к сайту. Подробнее о файле robots.txt вы можете прочитать на странице нашей Помощи:
https://yandex.ru/support/webmaster/con ... s-txt.html . Рекомендую вам также воспользоваться инструментом проверки файла robots.txt:
https://webmaster.yandex.ru/tools/robotstxt/ . Непосредственно в инструменте вы можете корректировать указания и проверять, запрещены или разрешены необходимые вам страницы к индексированию.
Обращение мое разработчику:
Помогите решить проблему, как и что закрыть от индексации в robot.txt ,Что бы сайт не пострадал и что бы поисковики не нагинали сайт а брали только полезную информацию.
А то хостинг тариф не слабый, но все же не выдерживает...думаю будет полезно всем.
