Здравствуйте! В webmaster.yandex.ru вывел уйму ошибок а именно не видел description на страницах /rupayments/after/
И поэтому решил исключить из поиска через robots.txt
Также добавил другие запреты прочитав одну статью
https://robotstxt.ru/#Rucnoe_sozdanie_robotstxtИ вот что получилось:
User-agent: *
Disallow: /admin/
Disallow: /ckeditor/
Disallow: /billing/
Disallow: /includes/
Disallow: /ipgeo/
Disallow: /modules/
Disallow: /locale/
Disallow: /morphy/
Disallow: /simhash/
Disallow: /smarty/
Disallow: /templates/
Disallow: /uploads/
Disallow: /rupayments/
Disallow: /config.php
Disallow: /version.php
Disallow: /abuse.php
Disallow: /services.html*
Disallow: /*?*
Disallow: /*%
Disallow: /index.php
Disallow: /*?page=
Disallow: /*&page=
Disallow: *PHPSESSID=
Disallow: *session_id=
Crawl-Delay: 5
Sitemap:
https://site.ru/sitemap.xmlHost:
https://site.ru/Проверил через Анализ robots.txt Яндекса то там нет ошибок.
Если есть какие то поправки то напишите, возможно где то перестарался ))