Сообщения без ответов | Активные темы Текущее время: 08 сен 2026, 18:54



Ответить на тему  [ Сообщений: 2 ] 
Идеальный robots.txt - какой он? 
Автор Сообщение
Аватара пользователя

Зарегистрирован: 08 май 2021, 01:52
Сообщения: 100
Аватара пользователя

Здравствуйте! В webmaster.yandex.ru вывел уйму ошибок а именно не видел description на страницах /rupayments/after/
И поэтому решил исключить из поиска через robots.txt
Также добавил другие запреты прочитав одну статью https://robotstxt.ru/#Rucnoe_sozdanie_robotstxt
И вот что получилось:

User-agent: *
Disallow: /admin/
Disallow: /ckeditor/
Disallow: /billing/
Disallow: /includes/
Disallow: /ipgeo/
Disallow: /modules/
Disallow: /locale/
Disallow: /morphy/
Disallow: /simhash/
Disallow: /smarty/
Disallow: /templates/
Disallow: /uploads/
Disallow: /rupayments/
Disallow: /config.php
Disallow: /version.php
Disallow: /abuse.php
Disallow: /services.html*
Disallow: /*?*
Disallow: /*%
Disallow: /index.php
Disallow: /*?page=
Disallow: /*&page=
Disallow: *PHPSESSID=
Disallow: *session_id=
Crawl-Delay: 5
Sitemap: https://site.ru/sitemap.xml
Host: https://site.ru/


Проверил через Анализ robots.txt Яндекса то там нет ошибок.
Если есть какие то поправки то напишите, возможно где то перестарался ))

_________________
Деньги есть! Можно и поесть! И после немного порыться в кодах...


07 июн 2021, 01:12
Профиль
Администратор
Аватара пользователя

Зарегистрирован: 20 сен 2010, 21:15
Сообщения: 2966
Аватара пользователя

Запретительных директив избыточно много, но хуже от этого сайту не будет


09 июн 2021, 16:50
Профиль
Показать сообщения за:  Поле сортировки  
Ответить на тему   [ Сообщений: 2 ] 

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 0


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения
Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
cron