Сайт
http://bbs.biz.uaПросмотрев индексацию сайта в Google, обнаружил серьезную багу (на мой взгляд).
Если набрать в Google фразу - site:адрес сайта - то появится список всех страниц, которые попали в индекс.
На втором месте находится страница с адресом адрес сайта/страница.html (адрес вообще-то не имеет значения, т.к. результат выдачи один и тот же -ошибка 200, а не 404) - которой уже не существует, т.к. она на старом движке. Однако в поисковике эта страница есть и у неё title - 404 страница не найдена.
При проверке результатов заголовков с помощью инструмента -
http://www.cy-pr.com/tools/header/ - обнаружил, что при вводе неправильного адреса (типа - адрес сайта/страница.html), визуально выдается ошибка 404 (т.е. пользователь на экране видит надпись 404), но, согласно заголовкам с сайта cy-pr.com - робот видит ошибку 200 (т.е. страница доступна).
Таким образом ошибка 404 не отрабатывает свою функцию. В итоге, поисковик думает, что несуществующая страница существует и не убирает её из своей базы данных (индекса).
Нужно сделать так, чтобы при запросе на несуществующую страницу выдавался реальный заголовок 404.
