Как запретить индексацию всего сайта или определенных страниц



На фоне всеобщей заботы о повышении скорости попадания страниц в индексы популярных поисковых систем интерес к тому, как запретить индексацию сайта может показаться, по крайней мере, странным. Кому, когда и зачем это нужно? В этом нам предстоит разобраться. 

Запрет индексации: цели и задачи

В основном запрещение на сканирование роботами поисковиков выносится в следующих случаях:

  • Сайт еще не готов к публикации;
  • В целях повышения безопасности;
  • В целях обеспечения сохранности личных данных;
  • Для оптимизации ресурса;
  • Для исключения из индекса дублей страниц.

Если с первым пунктом все ясно, то последующие нуждаются в объяснении. Итак, рекомендуется закрыть от индексации страницы, открытый доступ к которым не допустим. К примеру, административная часть сайта, служебные страницы, доступ к которым должен быть ограничен. С этим перекликается и запрет на индексацию страниц с личными данными зарегистрированных пользователей — как известно, даже законодательство предусматривает заботу о конфиденциальности личной информации.

Если говорить об оптимизации, здесь наблюдается сразу несколько нюансов. Во-первых, запрет индексации необходим для того, чтобы повысить эффективность работы поисковых роботов. Если говорить упрощенно, они не должны блуждать по «задворкам», это замедляет попадание в индекс. Во-вторых, от индексации часто закрывают страницы, не релевантные основному ключевому запросу сайта и, таким образом, снижающие общий показатель релевантности ресурса.

Необходимо запретить индексацию дублей страниц. В противном случае, проиндексированные неуникальные страницы могут стать поводом для попадания под фильтры поисковой системы. Проверка интернет сайтов показывает, что дубли являются довольно значимой проблемой. Это могут быть версии страниц для печати, один и тот же товар в интернет магазине, существующий в двух и более категориях, облако тегов, повторяющееся на различных страницах ресурса, страницы с частично неуникальным контентом и так далее.

Инструмент запрета на индексацию — robots.txt

Запретить индексацию сайта можно посредством файла robots.txt. В файле можно прописать запрет как для всех, так и для отдельных поисковых систем. Кроме того, в файле можно прописать запрет на индексацию отдельных директорий и файлов.

Файл robots.txt  размещается в корневой директории сайта. Различные поисковые системы обладают разными возможностями, поэтому в файле рекомендуется использовать только те директивы и символы, которые «понятны» всем без исключения системам.

Впрочем, инструмент запрета индексации robots.txt отличается и некоторыми недостатками. Так, к примеру, поисковая система Google часто выдает закрытые в robots.txt страницы в дополнительной выдаче с отметкой «Описание веб-страницы не доступно из-за ограничений в файле robots.txt». Чтобы установить наличие нежелательных страниц в выдаче поиска, необходимо проверить индексацию сайта с помощью оператора «site».

Естественно, снижается релевантность сайта в целом, да и с точки зрения потенциальных пользователей и клиентов наличие таких результатов выдачи не желательно. В связи с этим рекомендуется применять дополнительные меры.

Как запретить индексацию контента или его части на отдельной странице

Закрыть от индексации страницу можно с помощью мета-тега <meta name=«robots»>. Данный мета-тег размещают в блоке <head>.
Запись вида <meta name=«robots» content=«noindex, nofollow»> запрещает индексацию страницы и переход по размещенным на ней ссылкам.
Запись вида <meta name="googlebot" content="noindex, nofollow"/> запрещает индексацию и следование по ссылкам только роботу Google.
Запись вида <meta name=«robots» content=«noindex, follow»> запрещает индексировать страницу, но разрешает роботу переходить по ссылкам.
Запись вида <meta name=«robots» content=«none»> запрещает индексировать и переходить по ссылкам.

Однако и данный метод не дает полных гарантий. Для закрытия дублей канонических страниц подойдет атрибут <link rel=«canonical»>.

Быстрой Вам индексации. Поделитесь статьей с коллегами




Зарегистрируйтесь, если Вы еще этого не сделали!