Сообщения без ответов | Активные темы Текущее время: 09 сен 2026, 04:43



Ответить на тему  [ Сообщений: 5 ] 
Правильный Robots.txt 
Автор Сообщение
Аватара пользователя

Зарегистрирован: 11 сен 2015, 01:57
Сообщения: 95
Откуда: Санкт Петербург
Аватара пользователя

Доброго времени суток. Уважаемые форумчане, подскажите пожалуйста какие файлы и директории нужно закрыть в обязательном порядке, чтобы не было всяческих дублей страниц и всякого "мусора" в выдаче поисковиков? В идеале чтобы остались только объявления.
У меня по умолчанию роботс такой:
User-agent: *
Disallow: /admin/
Disallow: /ckeditor/
Disallow: /config.php
Disallow: /billing/

Что к этому ещё можно добавить? А что добавить обязательно?

Спасибо.


12 фев 2016, 17:09
Профиль

Зарегистрирован: 16 янв 2016, 22:00
Сообщения: 193

Нужная тема, многие хвалят себя в SEO, теперь есть доказать это на данном движке, ждем ваших заявлений "Сеошники"


12 фев 2016, 18:25
Профиль

Зарегистрирован: 16 янв 2016, 22:00
Сообщения: 193

Друзья, давайте не будем забывать про данный вопрос, то есть СЕО. Есть пару вопросов, надеюсь хваленные сеошники ответят на вопросы.

1. По мне, то нужно закрыть страницы пагинации, если так то напиши каким образом в robots.txt прописать?
2. В настройках есть пункт "Запретить индексировать страницы регионов", как ВЫ считаете закрыть эти страницы или нет?


16 мар 2016, 13:15
Профиль

Зарегистрирован: 09 мар 2014, 18:13
Сообщения: 117

Я вот что закрыл:

User-agent: *
Disallow: /tags
Disallow: /users
Disallow: /mail
Disallow: /remind
Disallow: /userinfo
Disallow: /timing
Disallow: /add
Disallow: /register
Disallow: /sort_ajax
Disallow: /search_ajax
Disallow: /sendmail/*
Disallow: /ajaxfileupload
Disallow: /change_language
Disallow: /change_template
Disallow: /comment_edit
Disallow: /group_actions
Disallow: /loadcomments
Disallow: /pay
Disallow: /uploadify
Disallow: /youtube
Disallow: /services.html?service*


30 мар 2016, 16:13
Профиль

Зарегистрирован: 11 апр 2016, 17:13
Сообщения: 247

Я закрываю по мере обнаружения "ненужных" страниц в яндексе:

Disallow: /admin/
Disallow: /ckeditor/
Disallow: /rss_news/
Disallow: /notepad/
Disallow: /users/
Disallow: /parser/
Disallow: /yamaps/
Disallow: /timing/
Disallow: /abuse/
Disallow: /phone_pic/
Disallow: /sendsms/
Disallow: /auth/
Disallow: /register_check/
Disallow: /register/
Disallow: /add_fields/
Disallow: /remind/
Disallow: /articles_rss/
Disallow: /reating/
Disallow: /googlemaps/
Disallow: /search_ajax_filtr/
Disallow: /cat_ajax/
Disallow: /search_ajax/
Disallow: /userinfo/
Disallow: /zaglushka/
Disallow: /download/
Disallow: /unsubscribe/
Disallow: /edit/
Disallow: /prolong_few/
Disallow: /add_reg/
Disallow: /ajaxfileupload/


18 фев 2018, 03:42
Профиль
Показать сообщения за:  Поле сортировки  
Ответить на тему   [ Сообщений: 5 ] 

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 3


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения
Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
cron