漫游器元标记是通过网页级设置来控制单个网页是否被编入索引并显示在搜索结果中。那么漫游器元标记应该放在网页的哪个部分呢?请看下面的例子。
<!DOCTYPE html> <html> <head> <meta name="robots" content="noindex"> ...... </head> <body> ...... </body> </html>
敲黑板啦!
知识点一:漫游器元标记放在<head>部分;
知识点二:漫游器元标记的写法:<meta name=”robots” content=”noindex”>该标记是在告诉所有的搜索引擎不要将该网页编入索引,要完全阻止该网页出现在搜索结果中。
meta name=”robots”指所有的搜索引擎的,也可以指定某一个搜索引擎,例如:
meta name=”Googlebot(谷歌蜘蛛)”、meta name=”Baiduspider(百度蜘蛛)”、meta name=”HaoSouSpider(好搜蜘蛛)”、meta name=”Sogou News Spider (搜狗蜘蛛)”等。
各大搜索引擎蜘蛛名称:
百度蜘蛛:Baiduspider
谷歌蜘蛛:Googlebot
360蜘蛛:360spider
必应蜘蛛:bingbot
搜狗蜘蛛:Sogou News Spider
SOSO蜘蛛:Sosospider
雅虎蜘蛛:Yahoo! Slurp China(雅虎中国)或Yahoo! Slurp(雅虎英文)
MSN蜘蛛:msnbot, msnot-media
如果想禁止某搜索引擎将网页编入索引,将name的属性值更改为相对应的搜索引擎的蜘蛛名即可。
要想让noindex元标记生效,请注意以下几点:
1. 如果该网页被robots.txt屏蔽了,抓取工具将无法看到noindex指令,因此该网页可能仍在显示在搜索结果中(比如:该网页有可能被其他网页链接到)。则需要修改robots.txt文件。
2. 如果该网页是新增的元标记,蜘蛛还未抓取该网页,则网页仍出现在搜索结果中。只有当蜘蛛抓取该网页后才能看到元标记。
最后,补充其他参数:
- none : 搜索引擎将忽略此网页,等同于:noindex,nofollow
2. noindex : 搜索引擎不索引此网页
3. nofollow: 搜索引擎不继续通过此网页的链接索引搜索其它的网页
4. all : 搜索引擎将索引此网页与继续通过此网页的链接索引,等同于:index,follow
5. index : 搜索引擎索引此网页
6. follow : 搜索引擎继续通过此网页的链接索引搜索其它的网页