| Elite-Board tech support https://forum.illusionweb.ru/ |
|
| Странные запросы от Яндекса https://forum.illusionweb.ru/viewtopic.php?f=24&t=2545 |
Страница 1 из 2 |
| Автор: | jucca [ 04 апр 2013, 12:45 ] |
| Заголовок сообщения: | Странные запросы от Яндекса |
Недавно провайдер написал мне письмо что сайт дает большую нагрузку на сервер, попросили принять меры. Я залез в логи и обнаружил, во-первых ненормально большое количество запросов от bing, но это не проблема, я закрыл ему доступ и все, толку от него все равно никакого. Но еще на моем поддомене, с количеством объявлений чуть больше тысячи, очень большое количество запросов от yandexbot, порядка 15000 в день и выглядят они очень странно, см. пример: 93.158.145.28 - - [01/Apr/2013:08:17:49 +0300] "GET /Intim-uslugi/yuridicheskie-uslugi/finansovye-uslugi/aerobika-tancy/page25.html 93.158.145.28 - - [01/Apr/2013:08:17:50 +0300] "GET /Intim-uslugi/Seks-bez-obyazatelstv/zdorovje/prochie-uslugi/sport-uslugi/page2.html 93.158.145.28 - - [01/Apr/2013:08:17:52 +0300] "GET /Intim-uslugi/Intim-uslugi-dlya-muzhchin/domashnie-uslugi/prochie-uslugi/tehnika-elektronika/page9.html Почему то все обращения идут через интим-услуги, а это всего лишь одна из категорий на сайте. Причем на основном домене такого глюка нет, все адреса указаны правильно. В чем может быть проблема, есть какие-либо идеи? |
|
| Автор: | jucca [ 09 апр 2013, 13:43 ] |
| Заголовок сообщения: | Re: Странные запросы от Яндекса |
Спасение утопающих дело рук....) дело было в регистре адреса, при замене в адресе строчной на прописную или наоборот идет не 404, а какая то странная страница. Можете сами глянуть. И если поисковый робот до нее доберется быть беде... А я случайно в адресе категории назвал ее с большой буквы, а робот добрался до названия с маленькой. |
|
| Автор: | jucca [ 09 апр 2013, 14:49 ] |
| Заголовок сообщения: | Re: Странные запросы от Яндекса |
Но теперь возникает вопрос как правильно сделать редирект с категории /Intim-uslugi/* на /intim-uslugi/* ? Кто -нибудь может подсказать? |
|
| Автор: | jucca [ 30 апр 2013, 16:20 ] |
| Заголовок сообщения: | Re: Странные запросы от Яндекса |
Редирект сделал, но ситуация не поменялась:( по прежнему очень странные адреса посещаются Яндексом: 3.158.145.28 - - [25/Apr/2013:00:11:40 +0300] "GET /intim-uslugi/transport/avtoservis-uslugi/sport-turizm/turizm-puteshestviya/internet/provaidery-hosting/page29.html 93.158.145.28 - - [25/Apr/2013:00:11:52 +0300] "GET /intim-uslugi/transport/avtoservis-uslugi/dom-sad/uborka-obsluzhivanie/transport/prochie-uslugi/page27. 93.158.145.28 - - [25/Apr/2013:00:12:03 +0300] "GET /intim-uslugi/transport/avtoservis-uslugi/dom-sad/domashnie-uslugi/prazdniki/prazdniki-torzhestva/page16. 93.158.145.28 - - [25/Apr/2013:00:12:09 +0300] "GET /intim-uslugi/justice/yuridicheskie-uslugi/transport/avtoservis-uslugi/page4.html 93.158.145.28 - - [25/Apr/2013:00:12:11 +0300] "GET /intim-uslugi/transport/avtoservis-uslugi/internet/kompyutery-programmy/justice/prochie-uslugi/page27.html 93.158.145.28 - - [25/Apr/2013:00:12:15 +0300] "GET /intim-uslugi/justice/yuridicheskie-uslugi/raznye-uslugi/zoo-uslugi/page16 И самое неприятное, если набрать этот несуществующий адрес, то отображается не ошибка 404, как следовало бы, а страница сайта. Яндекс уже закачал почти 200 000 таких страниц:( Что делать с этим не знаю:((((( Рекомендую всем проверить логи, возможно и у вас такая ситуация. |
|
| Автор: | alexsam [ 30 апр 2013, 18:12 ] |
| Заголовок сообщения: | Re: Странные запросы от Яндекса |
Да, есть такое, после одного из апов в конце прошлого года, Яндекс проигнорил роботс и съел, все, что я закрывал, в т.ч. и подобные адреса (когда из одной категории можно перейти в дугую, без смены урл и так несколько уровней). Теперь в ЯВМ под сотню тысяч страниц, однако в индексе всего 700, только сами объявления... не знаю даже влияет ли это на траст к ресурсу. |
|
| Автор: | jucca [ 02 май 2013, 10:19 ] |
| Заголовок сообщения: | Re: Странные запросы от Яндекса |
Если посмотреть на структуру сайта в ЯВебмастере, то она тоже искаженная, плюс ненужная нагрузка на сервер, так что я не думаю что это хорошо. Да в и роботс подобные страницы не закроешь, как создать правило в данном случае я не представляю, а закрывать каждую из этих сотен тысяч страниц физически нереально. |
|
| Автор: | alexsam [ 12 май 2013, 06:29 ] |
| Заголовок сообщения: | Re: Странные запросы от Яндекса |
Бле... очередной ап яндекса - и он сожрал всю эту чачу, теперь все это в индексе. Около 10.000 левых страниц несуществующих категорий типа строительство\фото\антиквариат\спрос или бытовая техника\холодильники\бизнес и партнерство\животные\кошки... Юра! Тебе виднее, где копать. Но это беда. |
|
| Автор: | SERblY [ 23 май 2013, 22:02 ] |
| Заголовок сообщения: | Re: Странные запросы от Яндекса |
такая же херня /DomDacha/Pravila/Pravila/Pravila/page4.html чето мне кажется в htaccess надо прописать, знать бы только что... робот херачит и склеивает вообще не имеющие к друг другу отношения страницы!!! |
|
| Автор: | Geo [ 24 май 2013, 10:05 ] |
| Заголовок сообщения: | Re: Странные запросы от Яндекса |
Видимо на каких-то страницах стоят относительные ссылки, без слэша вначале строки. Такое было возможно в некоторых шаблонах 2.0 версии, и по-моему было исправлено в последних сборках. В остальных случаях надо разбираться отдельно. Вот например, судя по uri /DomDacha/Pravila/Pravila/Pravila/page4.html Где-то стоит ссылка на модуль href="Pravila/", а надо href="/Pravila/" Чтобы сказать что-то конкретное, надо посмотреть на сайт |
|
| Автор: | alexsam [ 24 май 2013, 13:20 ] |
| Заголовок сообщения: | Re: Странные запросы от Яндекса |
Если в 2.1 исправлен баг, то вопрос понятен. Поскольку вот, например http://market-dv.ru/stroitelstvo-i-remo ... od/Kyplyu/ вытащил из проиндексированных яндексом, но это 2.0. |
|
| Страница 1 из 2 | Часовой пояс: UTC + 3 часа |
| Powered by phpBB® Forum Software © phpBB Group https://www.phpbb.com/ |
|