На днях сотрудники Google Гэри Илш и Джон Мюллер опубликовали несколько твитов на тему индексации файлов robots.txt и Sitemap.
Обсуждение начал Гэри Илш, который заявил, что файл
robots.txt может индексироваться и ранжироваться в результатах поиска Google. По
его словам, «c точки зрения индексирования, robots.txt – это всего лишь URL, контент
которого может индексироваться».
В ответ на это Джон Мюллер написал, что запретить индексацию файлов robots.txt и Sitemap можно с помощью HTTP-заголовка X-Robots-Tag.
При этом он отметил, что если эти файлы ранжируются по обычным запросам (без site:), то это обычно признак того, что у сайта плохи дела и он требует улучшений.
Use the x-robots-tag HTTP header to block indexing of the robots.txt or sitemaps files. Also, if your robots.txt or sitemap file is ranking for normal queries (not site:), that's usually a sign that your site is really bad off and should be improved instead. https://t.co/DpWz6sYanN
— ? John ? (@JohnMu) November 7, 2019
Для блокировки индексации можно использовать и директиву disallow:
Мюллер также добавил, что Google не нужно индексировать файл Sitemap, поскольку он обрабатывается по-другому:
«Файл Sitemap обычно предназначен для прямого использования
программами, его не нужно индексировать».
Напомним, ранее стало известно, что
если файл robots.txt возвращает ошибку 5xx, то Google не будет индексировать
сайт.
Источник: searchengines.ru
