Elite-Board tech support
https://forum.illusionweb.ru/

Правильный Robots.txt
https://forum.illusionweb.ru/viewtopic.php?f=3&t=3246		 Страница 1 из 1
Автор:  Денис [ 12 фев 2016, 17:09 ]
Заголовок сообщения:  Правильный Robots.txt
Доброго времени суток. Уважаемые форумчане, подскажите пожалуйста какие файлы и директории нужно закрыть в обязательном порядке, чтобы не было всяческих дублей страниц и всякого "мусора" в выдаче поисковиков? В идеале чтобы остались только объявления.
У меня по умолчанию роботс такой:
User-agent: *
Disallow: /admin/
Disallow: /ckeditor/
Disallow: /config.php
Disallow: /billing/

Что к этому ещё можно добавить? А что добавить обязательно?

Спасибо.
Автор:  Triste [ 12 фев 2016, 18:25 ]
Заголовок сообщения:  Re: Правильный Robots.txt
Нужная тема, многие хвалят себя в SEO, теперь есть доказать это на данном движке, ждем ваших заявлений "Сеошники"
Автор:  Triste [ 16 мар 2016, 13:15 ]
Заголовок сообщения:  Re: Правильный Robots.txt
Друзья, давайте не будем забывать про данный вопрос, то есть СЕО. Есть пару вопросов, надеюсь хваленные сеошники ответят на вопросы.

1. По мне, то нужно закрыть страницы пагинации, если так то напиши каким образом в robots.txt прописать?
2. В настройках есть пункт "Запретить индексировать страницы регионов", как ВЫ считаете закрыть эти страницы или нет?
Автор:  Aleksej [ 30 мар 2016, 16:13 ]
Заголовок сообщения:  Re: Правильный Robots.txt
Я вот что закрыл:

User-agent: *
Disallow: /tags
Disallow: /users
Disallow: /mail
Disallow: /remind
Disallow: /userinfo
Disallow: /timing
Disallow: /add
Disallow: /register
Disallow: /sort_ajax
Disallow: /search_ajax
Disallow: /sendmail/*
Disallow: /ajaxfileupload
Disallow: /change_language
Disallow: /change_template
Disallow: /comment_edit
Disallow: /group_actions
Disallow: /loadcomments
Disallow: /pay
Disallow: /uploadify
Disallow: /youtube
Disallow: /services.html?service*
Автор:  Д митрий [ 18 фев 2018, 03:42 ]
Заголовок сообщения:  Re: Правильный Robots.txt
Я закрываю по мере обнаружения "ненужных" страниц в яндексе:

Disallow: /admin/
Disallow: /ckeditor/
Disallow: /rss_news/
Disallow: /notepad/
Disallow: /users/
Disallow: /parser/
Disallow: /yamaps/
Disallow: /timing/
Disallow: /abuse/
Disallow: /phone_pic/
Disallow: /sendsms/
Disallow: /auth/
Disallow: /register_check/
Disallow: /register/
Disallow: /add_fields/
Disallow: /remind/
Disallow: /articles_rss/
Disallow: /reating/
Disallow: /googlemaps/
Disallow: /search_ajax_filtr/
Disallow: /cat_ajax/
Disallow: /search_ajax/
Disallow: /userinfo/
Disallow: /zaglushka/
Disallow: /download/
Disallow: /unsubscribe/
Disallow: /edit/
Disallow: /prolong_few/
Disallow: /add_reg/
Disallow: /ajaxfileupload/
Страница 1 из 1 Часовой пояс: UTC + 3 часа
Powered by phpBB® Forum Software © phpBB Group
https://www.phpbb.com/