Elite-Board tech support
https://forum.illusionweb.ru/

Идеальный robots.txt - какой он?
https://forum.illusionweb.ru/viewtopic.php?f=3&t=4638		 Страница 1 из 1
Автор:  Айбек [ 07 июн 2021, 01:12 ]
Заголовок сообщения:  Идеальный robots.txt - какой он?
Здравствуйте! В webmaster.yandex.ru вывел уйму ошибок а именно не видел description на страницах /rupayments/after/
И поэтому решил исключить из поиска через robots.txt
Также добавил другие запреты прочитав одну статью https://robotstxt.ru/#Rucnoe_sozdanie_robotstxt
И вот что получилось:

User-agent: *
Disallow: /admin/
Disallow: /ckeditor/
Disallow: /billing/
Disallow: /includes/
Disallow: /ipgeo/
Disallow: /modules/
Disallow: /locale/
Disallow: /morphy/
Disallow: /simhash/
Disallow: /smarty/
Disallow: /templates/
Disallow: /uploads/
Disallow: /rupayments/
Disallow: /config.php
Disallow: /version.php
Disallow: /abuse.php
Disallow: /services.html*
Disallow: /*?*
Disallow: /*%
Disallow: /index.php
Disallow: /*?page=
Disallow: /*&page=
Disallow: *PHPSESSID=
Disallow: *session_id=
Crawl-Delay: 5
Sitemap: https://site.ru/sitemap.xml
Host: https://site.ru/


Проверил через Анализ robots.txt Яндекса то там нет ошибок.
Если есть какие то поправки то напишите, возможно где то перестарался ))
Автор:  Geo [ 09 июн 2021, 16:50 ]
Заголовок сообщения:  Re: Идеальный robots.txt - какой он?
Запретительных директив избыточно много, но хуже от этого сайту не будет
Страница 1 из 1 Часовой пояс: UTC + 3 часа
Powered by phpBB® Forum Software © phpBB Group
https://www.phpbb.com/