Форум техподдержки Elite-Board

Яндекс индексирует страницы типа:
http://zverstva.net/services.html?servi ... age_id=112

кому мешает в Robots.txt можно что то типа

прописать

принято

Еще индексирует:
/add/select/cat/?i=
/add/select/region/?i=
Хотя в принципе и исключает из за не распознанной кодировки.

Пока что нашел в процессе освоения яндексом моего сайта...
Мой Robots.txt


/sendmail/ - Это белая страница
/region_changer/- убрал, чтоб поисковик не шарился по одним и тем же страницам, а ходил по основному разделу (т.е. все регионы). Вопрос спорный, но я убрал, посмотрю что будет.
/services.html?service= -уже упоминал.
/add/select/cat/- просто фрейм с полем выбором категории.
/add/select/region/- тоже просто фрейм без самого сайта.

К слову..от фреймов хорошо бы отказаться..

Спасибо, будет уже в следующей сборке

фреймы пока останутся
увы...

Рекомендую еще убирать sort, Яша очень отрицательно относится к страницам с результатами поиска
У себя сделал так:
Disallow: /sort/
Ушли из индекса для всех регионов, но остались по городам, пришлось добавить :
Disallow: /город/sort/
и так для всех городов. Помогло

Да верно.. к результатам поиска плохо относится-но оно и понятно.. дублирование контента.

Из sitemap кстати тоже можно убрать
Там, кстати есть url /pay/ - белая страница. можно тоже в robots.txt запихать. Не надо её показывать)

Надо стараться избавляться от дублей, нельзя это недооценивать, за дубли Яндекс заносит сайт под фильтр АГС, оставляя в индексе лишь 5-15 страниц. Если это произойдет - коту под хвост все Ваши старания над сайтом, добиться выхода из-под такого фильтра потом ох как не просто!

Сложности в этом никакой нет. Просто занимает очень много времени, так как понятное дело, робот не будет пристально следить за вашим сайтом и ждать, когда он "самоочистится" от дублей.
Конечно, можно и в баню попасть, если дублирование страниц будет настолько масштабным, что будет смахивать на поисковый спам, но это опять же- решается легко, но ценой огромного времени.