Создание сайта от А до Я. Книга 4 - стр. 6
– Sitemap: http://Имя вашего сайта/sitemap. xml или http://вашсайт.ru/sitemap_index.xml). Зависит от плагина
В первой указываем адрес нашего сайта без WWW (так настроен наш хостинг Beget), а во второй – путь к XML карте сайта. Чтобы узнать этот путь, заходим в «Консоль/SEO/Общие»
В новом окне жмём пункт SiteMap.
Откроется окно
Вверху копируем адрес нашей XML карты.
В итоге получим:
– Host: http://penobeton.ru
– Sitemap: http://penobeton.ru/sitemap_index.xml
Сохраняем файл и переносим его в корневую папку нашего сайта.
Для этого заходим на наш хостинг (Beget), раскрываем наш аккаунт, выбираем файловый менеджер.
Откроется корневая папка
Жмём Загрузить файлы. На компьютере находим наш файл robots. txt
Жмём Загрузить. Когда загорится зелёный индикатор, значит загрузка прошла успешно.
Жмём Закрыть
Видим, что файл появился в корневой папке.
Закрываем файловый менеджер.
Чтобы быстро посмотреть содержимое файла robots. txt наберите в адресной строке браузера
адрес вашего сайта/robots. txt
Чтобы просмотреть какие страницы и записи вашего сайта проиндексированы Яндексом, в поисковой строке Яндекса наберите url: адрес сайта/*
Если вы установили плагин Yoast SEO, то отредактировать файл robots. txt можно зайдя в «Консоль/ SEO/Инструменты/Редактор файлов».
Тонкие настройки robots. txt
Ввиду особой важности этого файла можете провести более тонкие настройки файла robots. txt, изложенные на сайте:https://seogio.ru/robots-txt-dlya-wordpress/
Автор: bisteinoff Окт 19, 2018 Google, SEO, Яндекс
Один из лучших robots. txt на данный момент, это robots. txt, предложенный в блоге http://wp-kama.ru/id_803/pishem-pravilnyiy-robotstxt-dlya-wordpress.html.
Ошибочные рекомендации других блогеров для Robots. txt на WordPress
– Использовать правила только для User-agent: *
Для многих поисковых систем не требуется индексация JS и CSS для улучшения ранжирования, кроме того, для менее значимых роботов вы можете настроить большее значение Crawl-Delay и снизить за их счет нагрузку на ваш сайт.
– Прописывание Sitemap после каждого User-agent
Это делать не нужно. Один sitemap должен быть указан один раз в любом месте файла robots. txt
– Закрыть папки wp-content, wp-includes, cache, plugins, themes
Это устаревшие требования. Для Яндекса и Google лучше будет их вообще не закрывать. Или закрывать «по-умному», как это описано выше.
– Закрывать страницы тегов и категорий
Если ваш сайт действительно имеет такую структуру, что на этих страницах контент дублируется и в них нет особой ценности, то лучше закрыть. Однако нередко продвижение ресурса осуществляется в том числе за счет страниц категорий и тегирования. В этом случае можно потерять часть трафика