Биржа контента CM

Что следует закрывать в Robots.txt на сайте

Оптимизация вашего вновь созданного блога под поисковые системы (SEO – Search Engine Optimization) является основной частью для подготовки успешного интернет проекта. Безусловно, важными факторами являются уникальность контента, внутренняя перелинковка, внешние ссылки и аудитория (в чем вы сможете убедиться прочитав статью о том, где учиться основам SEO – самые авторитетные источники), но не стоит забывать и об индексируемых страницах, то есть тех страницах, которые попадут в индекс Поисковых Машин.

Что я подразумеваю под этим? Иногда совсем нежелательно присутствие излишнего дублированного контента в индексе (например, некоторые распространенные CMS, такая как WordPress, генерирует, помимо рубрик – метки, архивы по месяцам, архивы по авторам, постраничное разбиение ленты постов на главной, служебные поисковые странички, страницы генерируемые RSS и .т.п.) Наличие этих страниц может серьезно осложнить способность поисковой системы находить релевантный ответ на поставленный пользователем вопрос на вашем сайте, а также существенно замедлить скорость индексации ваших материалов. Поэтому при разработке сайтов все профессиональные оптимизаторы обязательно используют инструменты для индексации (напр. по ссылке специалисты из IWorks при разработке тоже используют подобные инструменты, в чем несложно убедиться, посмотрев примеры сделанных ими сайтов)

Одним из эффективных инструментов по контролю индексирования является файл Robots.txt (помимо meta name=”robots” и link rel=”canonical’, которые являются дополнительными инструментами для контроля индексирования) Что это такое? Если вкратце, это обычный текстовый файл, который должен лежать в корне вашего сайта (то есть открываться по адресу http://site.ru/robots.txt и содержать в себе определенный набор указаний для поисковых роботов, с помощью которых они узнают, что стоит брать в индекс, а что нет)

Правильную структуру, типы директив и примеры (текстовые и видео) вы можете посмотреть на русскоязычном ресурсе http://robotstxt.org.ru/

Ну а мой ответ на вопрос, что стоит закрывать от индексирования на сайте, однозначен: стоит закрыть все дополнительные неуникальные странички, оставив лишь самые полезные. Лично я у себя на блоге оставляю лишь категории и в некоторых случаях метки (тэги), все остальное же я закрываю. (архивы, архивы авторов, постраничное разбиение на главной)

Кроме того, в обязательном порядке закрываются все служебные странички: поиск, административная часть (админка), страницы RSS и другие файлы и папки, которые не содержат в себе полезной или уникальной информации и не отвечают исчерпывающе на вопрос.

Ну и последний момент. Если вы прочитали эту статью уже после того, как множество ненужных вам страничек попало в индекс и добавление необходимых директив долгое время не удаляет их из индекса, то вы можете использовать специальные инструменты, предусмотренные поисковыми системами для этих случаев. Это Del Url от Яндекса: webmaster.yandex.ru/delurl.xml и Del Url от Гугла (найти можно в панели вебмастера) Урл адреса придется добавлять вручную, поэтому это долгая и нудная работа.

Популярность статьи: 4%

Почитайте связанные посты:


Опубликовано в рубрике: SEO
Биржа контента Etxt

Комментариев (1) на “Что следует закрывать в Robots.txt на сайте”

  1. Alex:

    У меня и категории закрыты от индексации, но в ближайшее время собираюсь написать для них тексты, и открыть для индекса. Вообще долго не копался в «роботсе», нужно глянуть что у меня там, а то когда создавал сайт, еще не понимал что закрывать а что нет.

Написать ответ

Вверх