之前因为搜狗不收录MAY的SEO博客,为此我还特意写了一篇文章来对搜狗道再见;没想到这次我又要对360搜索引擎说再见了,恕我无能,实在是没有精力在这么折腾下去了。具体是什么原因呢?请听我细细说来。
最近网站多次出现了504 Gateway Time-out,查看日志,发现竟然是360蜘蛛捣的鬼,360搜索引擎蜘蛛每天都会来光顾一下我的网站,几乎一天一次的频率,有人会说360蜘蛛每天都来访你的网站,这不是好事吗?的确,这是好事,但是你知道吗?短短1~2分钟内360蜘蛛访问达到数百次以上,在日志上返回499状态码,如果此时恰好有百度搜索引擎蜘蛛或其他蜘蛛同时来访网站,同样会返回499状态码;如果此时用户来访问,网站前端出现“504 Gateway Time-out”,是不是很惊讶?
1. 按理来说,360搜索引擎蜘蛛每天都来,这样我的网站收录应该会很好才对,其实不然,到目前为止,360只收录了29条记录,这样的收录结果并不是特别理想;
2. 360蜘蛛,你来就来吧,居然返回499状态码,这是啥个意思?(找了很多资料,也没搞懂为什么会返回499,如果有人知道,还请告知,谢谢)
3. 360蜘蛛每天不定时在1~2分钟之内访问数百次,大大占用了服务器资源,这会造成用户访问速度慢甚至出现“504 Gateway Time-out”等情况;
4. 可以在360站长平台设置蜘蛛抓取频率,需要验证网站,但是想想罢了,懒得折腾了;
5. 网站运营快1年,从未获得360搜索来的流量……
我已经在robots.txt中对360蜘蛛进行了屏蔽,360搜索引擎蜘蛛,再见了!