| Elite-Board tech support https://forum.illusionweb.ru/ |
|
| Robots.txt https://forum.illusionweb.ru/viewtopic.php?f=3&t=79 |
Страница 1 из 4 |
| Автор: | Морозов Дмитрий [ 10 окт 2010, 01:14 ] |
| Заголовок сообщения: | Robots.txt |
Яндекс индексирует страницы типа: http://zverstva.net/services.html?servi ... age_id=112 кому мешает в Robots.txt можно что то типа Код: Для просмотра Вы должны быть в группе пользователей Elite-Board. прописать |
|
| Автор: | Geo [ 10 окт 2010, 19:20 ] |
| Заголовок сообщения: | Re: Robots.txt |
принято |
|
| Автор: | Морозов Дмитрий [ 11 окт 2010, 10:35 ] |
| Заголовок сообщения: | Re: Robots.txt |
Еще индексирует: /add/select/cat/?i= /add/select/region/?i= Хотя в принципе и исключает из за не распознанной кодировки. |
|
| Автор: | Морозов Дмитрий [ 12 окт 2010, 10:34 ] |
| Заголовок сообщения: | Re: Robots.txt |
Пока что нашел в процессе освоения яндексом моего сайта... Мой Robots.txt Код: Для просмотра Вы должны быть в группе пользователей Elite-Board. /sendmail/ - Это белая страница /region_changer/- убрал, чтоб поисковик не шарился по одним и тем же страницам, а ходил по основному разделу (т.е. все регионы). Вопрос спорный, но я убрал, посмотрю что будет. /services.html?service= -уже упоминал. /add/select/cat/- просто фрейм с полем выбором категории. /add/select/region/- тоже просто фрейм без самого сайта. К слову..от фреймов хорошо бы отказаться.. |
|
| Автор: | Geo [ 13 окт 2010, 00:29 ] |
| Заголовок сообщения: | Re: Robots.txt |
Спасибо, будет уже в следующей сборке фреймы пока останутся увы... |
|
| Автор: | jucca [ 13 окт 2010, 21:44 ] |
| Заголовок сообщения: | Re: Robots.txt |
Рекомендую еще убирать sort, Яша очень отрицательно относится к страницам с результатами поиска  У себя сделал так: Disallow: /sort/ Ушли из индекса для всех регионов, но остались по городам, пришлось добавить : Disallow: /город/sort/ и так для всех городов. Помогло 
|
|
| Автор: | Морозов Дмитрий [ 14 окт 2010, 08:26 ] |
| Заголовок сообщения: | Re: Robots.txt |
Да верно.. к результатам поиска плохо относится-но оно и понятно.. дублирование контента. |
|
| Автор: | Морозов Дмитрий [ 17 окт 2010, 22:05 ] |
| Заголовок сообщения: | Re: Robots.txt |
Из sitemap кстати тоже можно убрать Там, кстати есть url /pay/ - белая страница. можно тоже в robots.txt запихать. Не надо её показывать) |
|
| Автор: | Alexandr O Nikonov [ 29 ноя 2010, 18:51 ] |
| Заголовок сообщения: | Re: Robots.txt |
Надо стараться избавляться от дублей, нельзя это недооценивать, за дубли Яндекс заносит сайт под фильтр АГС, оставляя в индексе лишь 5-15 страниц. Если это произойдет - коту под хвост все Ваши старания над сайтом, добиться выхода из-под такого фильтра потом ох как не просто! |
|
| Автор: | Морозов Дмитрий [ 29 ноя 2010, 22:13 ] |
| Заголовок сообщения: | Re: Robots.txt |
Сложности в этом никакой нет. Просто занимает очень много времени, так как понятное дело, робот не будет пристально следить за вашим сайтом и ждать, когда он "самоочистится" от дублей. Конечно, можно и в баню попасть, если дублирование страниц будет настолько масштабным, что будет смахивать на поисковый спам, но это опять же- решается легко, но ценой огромного времени. |
|
| Страница 1 из 4 | Часовой пояс: UTC + 3 часа |
| Powered by phpBB® Forum Software © phpBB Group https://www.phpbb.com/ |
|