Сообщения без ответов | Активные темы Текущее время: 08 сен 2026, 18:49



Ответить на тему  [ Сообщений: 31 ]  Страница «  1, 2, 3, 4  »
Robots.txt 
Автор Сообщение

Зарегистрирован: 14 окт 2010, 17:52
Сообщения: 122

Я полностью позакрывал страницы по регионам, посколку - во первых дубли, а во вторых замечал неправильную индексацию. Например по запросу "доска объявлений украина" в поиске выскакивал адрес mysite/cherkassy, а это сильно влияло на кол-во отказов. Выждал несколько месяцев, чтобы сайт полностью переиндексировался и сейчас провожу эксперимент, открываю только главную страницу региона, директива следующая (именно в этом порядке и для всех регионов):
Allow: /kiev/$
Disallow: /kiev/
Цель - индексация по запросу "доска объявлений регион", интересно получться?


06 фев 2011, 14:26
Профиль
Аватара пользователя

Зарегистрирован: 25 сен 2010, 01:10
Сообщения: 486
Откуда: Москва
Аватара пользователя

Я просто создал /Russia/
И закрыл его от индексации.

Страны легче закрывать чем города..их хоть меньше.

Оставил для индекса только все регионы, т.е. корень сайта.

Есть ли смысл открывать главную страницу региона? Пользователю легче просто сменить регион перейдя на сайт. Многие путаются да еще и не замечают кнопку смены региона попав не туда куда хотели.
Город можно запихать в титл объявления как на avito., можно выделить как нибудь (увеличить его значимость, в общем).

Но вариант интересный. М.Б. даст результат.

_________________
Лучший хостинг по версии Хостинг-Обзор.ру

Звериный домик «Зверком»


10 фев 2011, 13:06
Профиль WWW

Зарегистрирован: 14 окт 2010, 17:52
Сообщения: 122

Просматривая статистику, я заметил что наибольшее число просмотров у пользователей пришедших по фразе "доска объявлений города" "дать объявление в городе". Т.е. за эти фразы надо бороться. Но если главная страница ориентирована на всю Россию, то как привлекать пользователей желающих дать объявление к примеру в Твери? По идее эту функцию и должна выполнять страница ваш-сайт/город. Посмотрим что получится.


10 фев 2011, 15:36
Профиль
Аватара пользователя

Зарегистрирован: 25 сен 2010, 01:10
Сообщения: 486
Откуда: Москва
Аватара пользователя

Титл от этого не меняется. Просто в списке будут объявления только этого города. Региональные доски все равно выйдут вперед в любом случае. Они элементарно более релевантны.
Нужно добавлять в доску опцию для формирования заголовков страниц..как в Joomla например.
Пока что СЕО- не самое сильное место скрипта.

_________________
Лучший хостинг по версии Хостинг-Обзор.ру

Звериный домик «Зверком»


12 фев 2011, 00:17
Профиль WWW

Зарегистрирован: 12 ноя 2010, 11:41
Сообщения: 121

возможно, также полезным будет для сайта добавление строки в 404.html
<meta name="robots" content="noindex, nofollow"/>
хоть она и не в head, но роботы ее как видят, и страницу не индексируют


12 фев 2011, 16:37
Профиль
Аватара пользователя

Зарегистрирован: 23 сен 2010, 04:25
Сообщения: 338
Аватара пользователя

Что бы города не индексировались закрываем все адреса где встречается название стран.
Например как сделал я у себя на сайте.
Вот привожу пример своего robots.txt
User-agent: *
Disallow: /admin/
Disallow: /fckeditor/
Disallow: /sendmail/
Disallow: /services.html?service=
Disallow: /add/select/cat/
Disallow: /add/select/region/
Disallow: /css/
Disallow: /js/
Disallow: /sort
Disallow: /tags
Disallow: /*change_region
Disallow: /*region_changer
Disallow: /*region
Disallow: /*ru
Disallow: /users/
Disallow: /*users
Disallow: /cgi-bin/
Disallow: /billing/
Disallow: /commands/
Disallow: /includes/
Disallow: /locale/
Disallow: /smarty/
Disallow: /templates/
Disallow: /uploads/
Disallow: /profile
Disallow: /registration
Disallow: /*type=
Disallow: /*noimg=
Disallow: /*price=
Disallow: /*users=
Disallow: /*name=
Disallow: /*from=
Disallow: /*notepad
Disallow: /redirect.php
Disallow: /redirect/
Disallow: /*redirect.php
Disallow: /*redirect
Host: www.vosxod.spb.ru

_________________
Все в жизни относительно.
Версия доски 2.1

Заработай на тизерах и click-under Классная рекламная сеть.
Биржа сайтов Покупка и продажа сайтов, доменов.


14 фев 2011, 02:39
Профиль WWW
Аватара пользователя

Зарегистрирован: 25 сен 2010, 01:10
Сообщения: 486
Откуда: Москва
Аватара пользователя

Есть, конечно, лишнее, что поисковик вряд ли проиндексирует. ) Но еще можно добавить еще Disallow: /pay/ так как это окошко тоже индексируется.

/tags - зря

У меня, например в гугле временами проскакивают запросы на высоких позициях именно на страницы тэгов. А дублями назвать их трудно, ибо сортировка в тэгах, хоть и такая же, но тэги у объявлений разные, так что содержание любой страницы /tags/ будет отличаться от содержания любой категории из общего будут лишь ссылки, а ссылки ведут на обычные страницы объявлений, они вообще- уникальны. Их бот обязан индексировать.


Та же история с постраничной навигацией на главной. До меня только что дошло, что ведь и это ничуть не дубль..ведь она отображает заголовки с описаниями и скринами ВСЕХ объявлений из ВСЕХ категорий.. Найдите еще одну такую страницу.... -нет такой..поиск только.

Так что я за постраничную навигацию на главной.. Тем более что некоторые пользователи мне уже об этом написали,, мол смотрим вниз, смотрим, а там бац, и листать некуда.

_________________
Лучший хостинг по версии Хостинг-Обзор.ру

Звериный домик «Зверком»


14 фев 2011, 10:01
Профиль WWW
Аватара пользователя

Зарегистрирован: 23 сен 2010, 04:22
Сообщения: 324
Аватара пользователя

Ну создайте идеальный Robots.txt пожалуйста , чтоб для всех, если не трудно !

_________________
Изображение


14 фев 2011, 22:32
Профиль
Аватара пользователя

Зарегистрирован: 25 сен 2010, 01:10
Сообщения: 486
Откуда: Москва
Аватара пользователя

Идеального ничего не бывает.)))


А вообще, я бы сделал примерно так:

Открываем robots.txt

Код:
Для просмотра Вы должны быть в группе пользователей Elite-Board.

/admin/ - я не рисовал. Я его защитил паролем через .htaccess, не вижу смысла светить лишний раз директорию админа.

/add/select/cat/
и
/add/select/region/

это фрэймы формы добавления. Я их закрыл, ибо нефиг. В целом, форма добавления больше ничего страшного не представляет, остальное можно оставить.. Мало ли пригодиться. На этой странице же можно написать что нибудь полезное, например, краткую инструкцию и она будет привлекать доп.запросы.
Так же как и регистрация и т.д... Это же всё контент.. всегда можно налепить туда какого нибудь полезного для пользователя текста и спать спокойно.

/Russia/ - это страна, в которой находятся все города, я так сделал, чтоб не комментить все города по отдельности, теперь достаточно закоментить лишь страну. По умолчанию в скрипте и есть страны, но я удалял и делал города России без стран, в итоге вернулся к истоком.

Мудрить с индексацией городов не стал, так как мета пользы от этого мало.

Тэги тоже не стал убирать, ибо ...уже объяснял.. Не дубли это. Другие страницы совершенно.

Пока у меня пожеланий больше нет..

Жду дополнений с описаниями.

_________________
Лучший хостинг по версии Хостинг-Обзор.ру

Звериный домик «Зверком»


14 фев 2011, 22:49
Профиль WWW
Аватара пользователя

Зарегистрирован: 25 сен 2010, 01:10
Сообщения: 486
Откуда: Москва
Аватара пользователя

Disallow: /timing/


Оказывается поисковик даже это проиндексировать может..
Кто бы мог подумать..

И вот еще интересней
Disallow: /edit/

В итоге я получил:

Код:
Для просмотра Вы должны быть в группе пользователей Elite-Board.

_________________
Лучший хостинг по версии Хостинг-Обзор.ру

Звериный домик «Зверком»


18 фев 2011, 17:25
Профиль WWW
Показать сообщения за:  Поле сортировки  
Ответить на тему   [ Сообщений: 31 ] 

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 1


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения
Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
cron