Форум техподдержки Elite-Board

Недавно провайдер написал мне письмо что сайт дает большую нагрузку на сервер, попросили принять меры. Я залез в логи и обнаружил, во-первых ненормально большое количество запросов от bing, но это не проблема, я закрыл ему доступ и все, толку от него все равно никакого. Но еще на моем поддомене, с количеством объявлений чуть больше тысячи, очень большое количество запросов от yandexbot, порядка 15000 в день и выглядят они очень странно, см. пример:
93.158.145.28 - - [01/Apr/2013:08:17:49 +0300] "GET /Intim-uslugi/yuridicheskie-uslugi/finansovye-uslugi/aerobika-tancy/page25.html
93.158.145.28 - - [01/Apr/2013:08:17:50 +0300] "GET /Intim-uslugi/Seks-bez-obyazatelstv/zdorovje/prochie-uslugi/sport-uslugi/page2.html
93.158.145.28 - - [01/Apr/2013:08:17:52 +0300] "GET /Intim-uslugi/Intim-uslugi-dlya-muzhchin/domashnie-uslugi/prochie-uslugi/tehnika-elektronika/page9.html

Почему то все обращения идут через интим-услуги, а это всего лишь одна из категорий на сайте. Причем на основном домене такого глюка нет, все адреса указаны правильно.
В чем может быть проблема, есть какие-либо идеи?

Спасение утопающих дело рук....)
дело было в регистре адреса, при замене в адресе строчной на прописную или наоборот идет не 404, а какая то странная страница. Можете сами глянуть. И если поисковый робот до нее доберется быть беде... А я случайно в адресе категории назвал ее с большой буквы, а робот добрался до названия с маленькой.

Но теперь возникает вопрос как правильно сделать редирект с категории /Intim-uslugi/* на /intim-uslugi/* ?
Кто -нибудь может подсказать?

Редирект сделал, но ситуация не поменялась:(
по прежнему очень странные адреса посещаются Яндексом:
3.158.145.28 - - [25/Apr/2013:00:11:40 +0300] "GET /intim-uslugi/transport/avtoservis-uslugi/sport-turizm/turizm-puteshestviya/internet/provaidery-hosting/page29.html
93.158.145.28 - - [25/Apr/2013:00:11:52 +0300] "GET /intim-uslugi/transport/avtoservis-uslugi/dom-sad/uborka-obsluzhivanie/transport/prochie-uslugi/page27.
93.158.145.28 - - [25/Apr/2013:00:12:03 +0300] "GET /intim-uslugi/transport/avtoservis-uslugi/dom-sad/domashnie-uslugi/prazdniki/prazdniki-torzhestva/page16.
93.158.145.28 - - [25/Apr/2013:00:12:09 +0300] "GET /intim-uslugi/justice/yuridicheskie-uslugi/transport/avtoservis-uslugi/page4.html
93.158.145.28 - - [25/Apr/2013:00:12:11 +0300] "GET /intim-uslugi/transport/avtoservis-uslugi/internet/kompyutery-programmy/justice/prochie-uslugi/page27.html
93.158.145.28 - - [25/Apr/2013:00:12:15 +0300] "GET /intim-uslugi/justice/yuridicheskie-uslugi/raznye-uslugi/zoo-uslugi/page16

И самое неприятное, если набрать этот несуществующий адрес, то отображается не ошибка 404, как следовало бы, а страница сайта.
Яндекс уже закачал почти 200 000 таких страниц:( Что делать с этим не знаю:(((((
Рекомендую всем проверить логи, возможно и у вас такая ситуация.

Да, есть такое, после одного из апов в конце прошлого года, Яндекс проигнорил роботс и съел, все, что я закрывал, в т.ч. и подобные адреса (когда из одной категории можно перейти в дугую, без смены урл и так несколько уровней). Теперь в ЯВМ под сотню тысяч страниц, однако в индексе всего 700, только сами объявления... не знаю даже влияет ли это на траст к ресурсу.

Если посмотреть на структуру сайта в ЯВебмастере, то она тоже искаженная, плюс ненужная нагрузка на сервер, так что я не думаю что это хорошо.
Да в и роботс подобные страницы не закроешь, как создать правило в данном случае я не представляю, а закрывать каждую из этих сотен тысяч страниц физически нереально.

Бле... очередной ап яндекса - и он сожрал всю эту чачу, теперь все это в индексе. Около 10.000 левых страниц несуществующих категорий типа строительство\фото\антиквариат\спрос или бытовая техника\холодильники\бизнес и партнерство\животные\кошки... Юра! Тебе виднее, где копать. Но это беда.

такая же херня /DomDacha/Pravila/Pravila/Pravila/page4.html
чето мне кажется в htaccess надо прописать, знать бы только что...
робот херачит и склеивает вообще не имеющие к друг другу отношения страницы!!!

Видимо на каких-то страницах стоят относительные ссылки, без слэша вначале строки. Такое было возможно в некоторых шаблонах 2.0 версии, и по-моему было исправлено в последних сборках. В остальных случаях надо разбираться отдельно. Вот например, судя по uri
/DomDacha/Pravila/Pravila/Pravila/page4.html
Где-то стоит ссылка на модуль href="Pravila/", а надо href="/Pravila/"
Чтобы сказать что-то конкретное, надо посмотреть на сайт

Если в 2.1 исправлен баг, то вопрос понятен. Поскольку вот, например http://market-dv.ru/stroitelstvo-i-remo ... od/Kyplyu/ вытащил из проиндексированных яндексом, но это 2.0.