Сообщения без ответов | Активные темы Текущее время: 09 сен 2026, 04:02



Ответить на тему  [ Сообщений: 34 ]  Страница «  1, 2, 3, 4  »
Добавляем слэш в конец URL адреса 
Автор Сообщение

Зарегистрирован: 11 апр 2016, 17:13
Сообщения: 247

Лучше запрещать индексацию страниц и разделов при помощи метатега , а не при помощи robots.txt.


26 янв 2019, 20:41
Профиль

Зарегистрирован: 25 фев 2016, 18:46
Сообщения: 453

Иллюзионист писал(а):
Лучше запрещать индексацию страниц и разделов при помощи метатега , а не при помощи robots.txt.


Ты через метатеги убрал индексацию page.html?


26 янв 2019, 22:08
Профиль

Зарегистрирован: 30 июл 2018, 15:54
Сообщения: 27

Иллюзионист писал(а):
Лучше запрещать индексацию страниц и разделов при помощи метатега , а не при помощи robots.txt.

Подскажите как вы решили с слэшем в конце URl? Спасибо.


28 янв 2019, 08:50
Профиль

Зарегистрирован: 11 апр 2016, 17:13
Сообщения: 247

MIHALICH писал(а):
Иллюзионист писал(а):
Лучше запрещать индексацию страниц и разделов при помощи метатега , а не при помощи robots.txt.


Ты через метатеги убрал индексацию page.html?


Да, конечно!


02 фев 2019, 15:28
Профиль

Зарегистрирован: 11 апр 2016, 17:13
Сообщения: 247

Но руки пока не доходили, чтобы почистить роботс от такого небоскрёба:


User-agent: *
Disallow: /admin
Disallow: /articles/$
Disallow: /extension
Disallow: /import_shop
Disallow: /email_confirmation
Disallow: /comment_edit
Disallow: /userinfo/$
Disallow: /messages/$
Disallow: /messages_ajax
Disallow: /tags
Disallow: /change_template
Disallow: /services.html
Disallow: /sendmail_shop
Disallow: /imgtext.png
Disallow: /ckuploads.php
Disallow: /ajaxfileupload_2
Disallow: /uploadify
Disallow: /comment_edit_shop
Disallow: /add2
Disallow: /ckeditor
Disallow: /rss_news
Disallow: /notepad
Disallow: /users
Disallow: /parser
Disallow: /yamaps
Disallow: /timing
Disallow: /abuse
Disallow: /phone_pic
Disallow: /sendsms
Disallow: /auth
Disallow: /register_check
Disallow: /register
Disallow: /add_fields
Disallow: /remind
Disallow: /articles_rss
Disallow: /reating
Disallow: /googlemaps
Disallow: /search_ajax_filtr
Disallow: /cat_ajax
Disallow: /search_ajax
Disallow: /zaglushka
Disallow: /download
Disallow: /unsubscribe
Disallow: /edit
Disallow: /prolong_few
Disallow: /prolongation
Disallow: /restore
Disallow: /redirect
Disallow: /sort_ajax
Disallow: /add_reg
Disallow: /ajaxfileupload
Disallow: /rss
Disallow: /rules
Disallow: /cat
Disallow: /news_lenta
Disallow: /sendmail
Disallow: /region_change
Disallow: */?*
Disallow: /index.php
Sitemap: https://do.prodgoroda.ru/sitemap.xml
Host: https://do.prodgoroda.ru





Весьма полезная инфа для разработчиков и пользователей. За годы наблюдения за попаданием тех или иных страниц в индекс ПС, составил свой роботс.
Не проще это всё реализовать посредством скрипта?


А вот как выглядит нормальный роботс, с которым не попадёшь под санкции ПС:


User-agent: *
Disallow: /engine/
Disallow: /*do=download
Disallow: /*do=go
Sitemap: https://prodgoroda.ru/sitemap.xml
Host: https://prodgoroda.ru


Думаю разница на лицо!


02 фев 2019, 15:29
Профиль

Зарегистрирован: 11 апр 2016, 17:13
Сообщения: 247

Олег писал(а):
Подскажите как вы решили с слэшем в конце URl? Спасибо.


Решается всё просто добавлением записи в .htaccess.
Мне было важно, чтобы на конце юрлов всегда присутствовал /
а при обращении на юрл без / происходила переадресация.
Тем самым я исключил лишние дубли.

Правда Яндекс очень долго не мог вычистить старые (дубли) страницы из индекса, ушло на это не менее года.
Но после всех манипуляций (не только с / и page1, page..., а вообще полного изучения вопроса) в поиске вместо 300 000 страниц осталось только 4-5к. :o
Мда, значительно мешьше :? Но это реальное количество полезных страниц на сайте.
Мало, но зато эти 4-5к относятся к "качественным" страницам по мнению Яши, а не к пустышкам как у других.


02 фев 2019, 15:50
Профиль
Аватара пользователя

Зарегистрирован: 19 ноя 2017, 18:54
Сообщения: 347
Аватара пользователя

И что даже дублей такого формата /? нет?


02 фев 2019, 17:28
Профиль

Зарегистрирован: 11 апр 2016, 17:13
Сообщения: 247

Дублей нет. Редирект 301 указывает роботу верную страницу.


02 фев 2019, 17:32
Профиль
Аватара пользователя

Зарегистрирован: 19 ноя 2017, 18:54
Сообщения: 347
Аватара пользователя

А в последней версии есть, и если сделать редирект, вырубается страница добавления, не обновляйся )


02 фев 2019, 17:39
Профиль

Зарегистрирован: 11 апр 2016, 17:13
Сообщения: 247

А проблема то сохраняется с дублями?
Открываются страницы как с / на конце так и без него?

Редирект каким образом ставился?
Одна страница глючит?
Можно её исключить RewriteCond %{REQUEST_URI} !страница


02 фев 2019, 17:49
Профиль
Показать сообщения за:  Поле сортировки  
Ответить на тему   [ Сообщений: 34 ] 

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 2


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения
Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
cron