在刚刚开始建站时，因为站点结构和初始内容都没有准备好，网站处于测试阶段，我们开放搜索引擎收录是没有意义的，如果搜索引擎收录了很多无用的页面，反而不利于我们后期的优化，所以在初建网站时，禁止搜索引擎是很有必要的，在本教程中我们将教大家如何在WordPress中禁止搜索引擎
Robots.txt文件
Robots.txt 是存放在站点根目录下的一个纯文本文件。虽然它的设置很简单，但是作用却很强大。它可以指定搜索引擎蜘蛛只抓取指定的内容，或者是禁止搜索引擎蜘蛛抓取网站的部分或全部内容。
通常站长们在禁止搜索引擎方面都会使用Robots.txt文件，不过一般的系统并没有内置这个功能，需要自己去写规则并上传
WordPress则是有一个内置的robots.txt文件，该文件位于网站根目录，比如WP主题站的robots文件就是 https://themeforwp.net/robots.txt ，网站文件里看不到的，但是在浏览器就是能访问到
熟悉robots规则的朋友，可以看到默认情况下是没有屏蔽任何搜索引擎的，只是屏蔽掉了默认的管理界面 /wp-admin
设置WordPress禁止搜索引擎收录
如果你的WordPress网站正在建设中或者正在改版，非常建议你临时禁用搜索引擎，下面说下如何在wordpress中设置
打开wordpress后台，依次选择 设置 – 阅读 – 对搜素引擎可见性 – 勾选建议搜索引擎不索引不站点，最后记得保存设置
这个时候，就表示我们已经不希望搜索引擎收录了
你可以再次访问robots文件，发现多出了一条语句 Disallow:/ ，这样的设置就表示禁止任何搜索引擎抓取网站
而且当你开启禁用收录选项后，WordPress后台会出现警告文字，提醒你正在禁用搜索引擎，这个是为了防止我们忘记开启收录而做的提醒。如果你什么时候需要搜索引擎收录了，可以随时将勾选去掉，开放收录。
禁用搜索引擎需要知道的事情
虽然说禁止搜索引擎只是一个很简单的功能，但是还是有一些东西需要注意
- 禁用搜索引擎通常只是临时禁用，网站完成后一定要开启收录
- 禁用搜索引擎并不能阻止他人访问你的网站，如果你的站点有不希望公开的内容，你应该使用WordPress加密插件或者密码文章等方式禁止他人访问
- 如果你只是想让某一篇文章不被搜索引擎收录，没必要对搜索引擎禁用整个网站，WordPress将指定文章设置禁止收录方法