Google пояснил, почему не стоит индексировать файлы robot.txt и Sitemap

Google пояснил, почему не стоит индексировать файлы robot.txt и Sitemap

В ходе дискуссии в Twitter выяснилось, что robots.txt может ранжироваться в Google. В своем твите Гэри Илш отметил, что поисковик воспринимает данный файл просто как URL, по которому находится доступный для индексации контент.

Затем к обсуждению подключился еще один представитель поисковой системы. Джон Мюллер подчеркнул, что для запрета индексации файлов robots.txt и Sitemap следует использовать HTTP-заголовок X-Robots-Tag. А также директиву Disallow.

Также Мюллер добавил, что индексация этих файлов по обычным запросам (без оператора :site) говорит о наличии у площадки больших проблем с SEO-оптимизацией.

Файл карты сайта не должен индексироваться и участвовать в ранжировании. Так как Sitemap предназначен, прежде всего, для использования веб-приложениями.

Google пояснил, почему не стоит индексировать файлы robot.txt и Sitemap

JavaScript. Быстрый старт

Изучите основы JavaScript на практическом примере по созданию веб-приложения

Источник webformyself.com