Сообщения без ответов | Активные темы Текущее время: 24 окт 2026, 21:54



Ответить на тему  [ Сообщений: 2 ] 
Идеальный robots.txt - какой он? 
Автор Сообщение
Здравствуйте! В webmaster.yandex.ru вывел уйму ошибок а именно не видел description на страницах /rupayments/after/
И поэтому решил исключить из поиска через robots.txt
Также добавил другие запреты прочитав одну статью https://robotstxt.ru/#Rucnoe_sozdanie_robotstxt
И вот что получилось:

User-agent: *
Disallow: /admin/
Disallow: /ckeditor/
Disallow: /billing/
Disallow: /includes/
Disallow: /ipgeo/
Disallow: /modules/
Disallow: /locale/
Disallow: /morphy/
Disallow: /simhash/
Disallow: /smarty/
Disallow: /templates/
Disallow: /uploads/
Disallow: /rupayments/
Disallow: /config.php
Disallow: /version.php
Disallow: /abuse.php
Disallow: /services.html*
Disallow: /*?*
Disallow: /*%
Disallow: /index.php
Disallow: /*?page=
Disallow: /*&page=
Disallow: *PHPSESSID=
Disallow: *session_id=
Crawl-Delay: 5
Sitemap: https://site.ru/sitemap.xml
Host: https://site.ru/


Проверил через Анализ robots.txt Яндекса то там нет ошибок.
Если есть какие то поправки то напишите, возможно где то перестарался ))

_________________
Деньги есть! Можно и поесть! И после немного порыться в кодах...


Профиль
Запретительных директив избыточно много, но хуже от этого сайту не будет


Профиль
Показать сообщения за:  Поле сортировки  
Ответить на тему   [ Сообщений: 2 ] 

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 9


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
cron