Сотрудник Google Джон Мюллер дал совет, как заблокировать файлы robots.txt и sitemap, чтобы не допустить их индексации.

Совет Мюллера был вызван твитом другого специалиста из Google Гэри Илша, который заметил, что файл robots.txt может быть проиндексирован поисковиком, как и любой другой URL. Хотя в robots.txt содержатся специальные указания для сканирования, нет ничего, что могло бы помешать Google его проиндексировать.

...robots.txt с точки зрения индексации — это просто URL, содержание которого может быть проиндексировано. Он может быть канонический или дедуплицированный, как и любой другой URL. Он имеет особое значение для сканирования, но его индексный статус вообще не важен.

Triggered by an internal question: robots.txt from indexing point of view is just a url whose content can be indexed. It can become canonical or it can be deduped, just like any other URL. It only has special meaning for crawling, but there its index status doesn't matter at all. pic.twitter.com/bBMXy1XcRF

— Gary "鯨理/경리" Illyes (@methode) November 6, 2019

В ответ своему коллеге Джон Мюллер написал, что HTTP-заголовок X-Robots-Tag может использоваться для того, чтобы заблокировать индексацию файлов robots.txt и sitemap. Также он заметил:

«Если ваши файлы robots.txt или sitemap ранжируются по обычным запросам (не сайт), это является, как правило, признаком того, что у вас действительно очень плохой сайт и его нужно срочно улучшить».

Так что если специалисты столкнулись с проблемой, когда их файл robots.txt ранжируется в результатах поиска, блокировка с помощью HTTP-заголовка X-Robots-Tag может стать хорошим краткосрочным решением. При этом следует сразу же начать решать более серьезные проблемы с сайтом, которые могут негативно сказаться в долгосрочной перспективе, рекомендует Мюллер.

Напомним, ранее сотрудник Google Мартин Сплитт сообщил, что поисковик не использует поведенческие метрики для ранжирования, в частности, dwelling time и время пребывания на странице.

Источник: Search Engine Journal