Создание сайта от А до Я. Книга 4 - стр. 4

. Однако, не создавать его является весьма нерациональным шагом. Без этого файла вы оставите роботам для индексации весь контент вашего сайта, и они решат, что можно показывать все части вашего сайта, даже те, которые бы вы хотели скрыть от общего доступа.

robots. txt – служебный файл, предназначенный для поисковых роботов и показывающий им, какие файлы, папки, разделы сайта следует индексировать, а какие нет. Закрытые от индексации в роботе статьи никогда не окажутся в индексе поисковых систем.

Очень важно скрыть от индексирования все ненужные файлы и папки (программную часть движка и прочее), чтобы поисковик не тратил на них силы.

Если у сайта имеются поддомены, для каждого из них формируется отдельный robots. txt.

Яндекс строго следует правилам файла robots. txt, а вот Google нет. Он запросто может проиндексировать запрещённые страницы и выводить их в поиске, особенно если на эту страницу ведут ссылки. В панели вебмастера обеих поисковых систем есть инструмент проверки файла robots. txt, которая показывает, правильно ли он работает.

Важно помнить, что изменения в robots. txt на уже рабочем сайте будут заметны только спустя некоторое время, иногда до месяца.

Где взять robots. txt для WordPress

В любой директории на вашем ПК в блокноте создайте пустой файл robots. txt Откройте его.

Зайдите на сайт https://s3.amazonaws.com/failibaza/robots.txt

Здесь выложено содержание сайта robots. txt для основных поисковых систем.

Скопируйте содержимое файла robots. txt и вставьте в свой файл. Сохраните его.

Если вы любознательны, то на сайте

https://pro-wordpress.ru/chast-2-raskrutka-bloga/pravilnyj-robots-txt-dlya-wordpress.php

узнайте, что значит каждая строчка файла.

– «User-agent: *» означает, что правила, приведённые ниже, будут действовать для всех поисковиков. Во второй части файла мы прописываем правило специально для Яндекса: «User-agent: Yandex».

– «Allow:» – разрешено индексировать. В варианте robots. txt для WordPress мы это не используем.

– «Disallow:» – запрещено индексировать.

– «Host: ваш_сайт.ru» – обязательно нужно указать основное зеркало. Ваш сайт открывается по двум адресам: с www и без www. Но в итоге происходит редирект на один из адресов (часто на блоге без www) – это и есть основное зеркало, которое нужно указать здесь. Эта строчка может быть расположена в любой части файла.

– «Sitemap:» – ссылка на XML-карту сайта. Если файлов с XML-картами несколько, пропишите путь к каждому из них.

– Регулярные выражения: звёздочка * – означает произвольную последовательность символов.