John Mueller最近就如何阻止robots.txt和站点地图文件在搜索结果中建立索引提供了一些建议。
Robots.txt文件被谷歌索引，怎么办
Gary Illyes的一条推文提示了这一建议，他随机指出，从技术上讲，robots.txt可以像其他任何URL一样被索引。尽管它为爬网提供了特殊的指导，但没有什么可以阻止它被索引的。
这是Illyes的完整推文：
“被一个内部问题触发：从索引的角度来看，robots.txt只是一个可以对其内容进行索引的url。就像任何其他URL一样，它可以变为规范或可以重复数据删除。
它仅具有爬网的特殊含义，但那里的索引状态根本不重要。”
作为对Google同事的回应，Mueller 说 x-robots-tag HTTP标头可用于阻止robots.txt或站点地图文件的索引编制。然而，这并不是他所要说的全部，因为可以说这是关键所在：
“此外，如果您的robots.txt或站点地图文件针对常规查询（而非站点：）进行排名，则通常表明您的站点确实状况不佳，应予以改善。”
因此，如果您遇到了robots.txt文件在搜索结果中排名的问题，那么使用x-robots-tag HTTP标头阻止它是一个不错的短期解决方案。但是，如果发生这种情况，那么从长远来看，可能会有更大的问题需要解决，正如Mueller建议的那样。