360搜索引擎蜘蛛,再见了!

之前因为搜狗不收录MAY的SEO博客,为此我还特意写了一篇文章来对搜狗道再见;没想到这次我又要对360搜索引擎说再见了,恕我无能,实在是没有精力在这么折腾下去了。具体是什么原因呢?请听我细细说来。

360搜索引擎蜘蛛,再见了!

360搜索引擎蜘蛛,再见了!

最近网站多次出现了504 Gateway Time-out,查看日志,发现竟然是360蜘蛛捣的鬼,360搜索引擎蜘蛛每天都会来光顾一下我的网站,几乎一天一次的频率,有人会说360蜘蛛每天都来访你的网站,这不是好事吗?的确,这是好事,但是你知道吗?短短1~2分钟内360蜘蛛访问达到数百次以上,在日志上返回499状态码,如果此时恰好有百度搜索引擎蜘蛛或其他蜘蛛同时来访网站,同样会返回499状态码;如果此时用户来访问,网站前端出现“504 Gateway Time-out”,是不是很惊讶?

1. 按理来说,360搜索引擎蜘蛛每天都来,这样我的网站收录应该会很好才对,其实不然,到目前为止,360只收录了29条记录,这样的收录结果并不是特别理想;

2. 360蜘蛛,你来就来吧,居然返回499状态码,这是啥个意思?(找了很多资料,也没搞懂为什么会返回499,如果有人知道,还请告知,谢谢)

3. 360蜘蛛每天不定时在1~2分钟之内访问数百次,大大占用了服务器资源,这会造成用户访问速度慢甚至出现“504 Gateway Time-out”等情况;

4. 可以在360站长平台设置蜘蛛抓取频率,需要验证网站,但是想想罢了,懒得折腾了;

5. 网站运营快1年,从未获得360搜索来的流量……

我已经在robots.txt中对360蜘蛛进行了屏蔽,360搜索引擎蜘蛛,再见了!

 


【AD】BandwagonHost:$92.30/年/2核/2G内存/40G SSD/1T流量/1Gbps/香港CMI/大阪软银/洛杉矶CN2 GIA

【AD】美国洛杉矶CN2 VPS/香港CN2 VPS/日本CN2 VPS推荐,延迟低、稳定性高、免费备份_搬瓦工vps