Upd На сайте установлен код вебмастера Яндекса и счётчик метрики Яндекса. В настройках вебмастера есть функция "обход по счётчику". По этому робот знает о тех страницах на которых был пользователь. Даже попала в вебмастер ошибочная страница, которая не отдает код 404. Например сайт/?luboy-tekst. И ещё интересно, что при включенной функции "обход по счётчику", робот Яндекса игнорирует правило в robots.txt. Яндекс перемудрил.
Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 2
Вы не можете начинать темы Вы не можете отвечать на сообщения Вы не можете редактировать свои сообщения Вы не можете удалять свои сообщения Вы не можете добавлять вложения
Вы не можете начинать темы Вы не можете отвечать на сообщения Вы не можете редактировать свои сообщения Вы не можете удалять свои сообщения Вы не можете добавлять вложения