Сообщения без ответов | Активные темы Текущее время: 25 окт 2026, 01:33



Ответить на тему  [ Сообщений: 34 ]  Страница «  1, 2, 3, 4  »
Добавляем слэш в конец URL адреса 
Автор Сообщение
Лучше запрещать индексацию страниц и разделов при помощи метатега , а не при помощи robots.txt.


Профиль
Иллюзионист писал(а):
Лучше запрещать индексацию страниц и разделов при помощи метатега , а не при помощи robots.txt.


Ты через метатеги убрал индексацию page.html?


Профиль
Иллюзионист писал(а):
Лучше запрещать индексацию страниц и разделов при помощи метатега , а не при помощи robots.txt.

Подскажите как вы решили с слэшем в конце URl? Спасибо.


Профиль
MIHALICH писал(а):
Иллюзионист писал(а):
Лучше запрещать индексацию страниц и разделов при помощи метатега , а не при помощи robots.txt.


Ты через метатеги убрал индексацию page.html?


Да, конечно!


Профиль
Но руки пока не доходили, чтобы почистить роботс от такого небоскрёба:


User-agent: *
Disallow: /admin
Disallow: /articles/$
Disallow: /extension
Disallow: /import_shop
Disallow: /email_confirmation
Disallow: /comment_edit
Disallow: /userinfo/$
Disallow: /messages/$
Disallow: /messages_ajax
Disallow: /tags
Disallow: /change_template
Disallow: /services.html
Disallow: /sendmail_shop
Disallow: /imgtext.png
Disallow: /ckuploads.php
Disallow: /ajaxfileupload_2
Disallow: /uploadify
Disallow: /comment_edit_shop
Disallow: /add2
Disallow: /ckeditor
Disallow: /rss_news
Disallow: /notepad
Disallow: /users
Disallow: /parser
Disallow: /yamaps
Disallow: /timing
Disallow: /abuse
Disallow: /phone_pic
Disallow: /sendsms
Disallow: /auth
Disallow: /register_check
Disallow: /register
Disallow: /add_fields
Disallow: /remind
Disallow: /articles_rss
Disallow: /reating
Disallow: /googlemaps
Disallow: /search_ajax_filtr
Disallow: /cat_ajax
Disallow: /search_ajax
Disallow: /zaglushka
Disallow: /download
Disallow: /unsubscribe
Disallow: /edit
Disallow: /prolong_few
Disallow: /prolongation
Disallow: /restore
Disallow: /redirect
Disallow: /sort_ajax
Disallow: /add_reg
Disallow: /ajaxfileupload
Disallow: /rss
Disallow: /rules
Disallow: /cat
Disallow: /news_lenta
Disallow: /sendmail
Disallow: /region_change
Disallow: */?*
Disallow: /index.php
Sitemap: https://do.prodgoroda.ru/sitemap.xml
Host: https://do.prodgoroda.ru





Весьма полезная инфа для разработчиков и пользователей. За годы наблюдения за попаданием тех или иных страниц в индекс ПС, составил свой роботс.
Не проще это всё реализовать посредством скрипта?


А вот как выглядит нормальный роботс, с которым не попадёшь под санкции ПС:


User-agent: *
Disallow: /engine/
Disallow: /*do=download
Disallow: /*do=go
Sitemap: https://prodgoroda.ru/sitemap.xml
Host: https://prodgoroda.ru


Думаю разница на лицо!


Профиль
Олег писал(а):
Подскажите как вы решили с слэшем в конце URl? Спасибо.


Решается всё просто добавлением записи в .htaccess.
Мне было важно, чтобы на конце юрлов всегда присутствовал /
а при обращении на юрл без / происходила переадресация.
Тем самым я исключил лишние дубли.

Правда Яндекс очень долго не мог вычистить старые (дубли) страницы из индекса, ушло на это не менее года.
Но после всех манипуляций (не только с / и page1, page..., а вообще полного изучения вопроса) в поиске вместо 300 000 страниц осталось только 4-5к. :o
Мда, значительно мешьше :? Но это реальное количество полезных страниц на сайте.
Мало, но зато эти 4-5к относятся к "качественным" страницам по мнению Яши, а не к пустышкам как у других.


Профиль
И что даже дублей такого формата /? нет?


Профиль
Дублей нет. Редирект 301 указывает роботу верную страницу.


Профиль
А в последней версии есть, и если сделать редирект, вырубается страница добавления, не обновляйся )


Профиль
А проблема то сохраняется с дублями?
Открываются страницы как с / на конце так и без него?

Редирект каким образом ставился?
Одна страница глючит?
Можно её исключить RewriteCond %{REQUEST_URI} !страница


Профиль
Показать сообщения за:  Поле сортировки  
Ответить на тему   [ Сообщений: 34 ] 

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 17


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
cron