很官方的回复
前几日，朋友的网站被百度蜘蛛抓取到流量流失，以至于网站自动因流量超标而自动关闭，后检查log日志才发现，是百度蜘蛛24小时以秒为单位的不停歇的抓取……毕竟这样下去不是办法~于是在百度蜘蛛说明下点击投诉链接，把问题说明一下。还好，百度官方给回应。把问题解决了。
百度使用自动的spider程序抓取互联网上的网页,大多数情况下,网站都能被百度自动收录。虽然百度希望尽可能多的抓取互联网上的网页,但为了确保用户的搜索体验以及某些不确定的原因,仍会有少数网站无法被百度收录,如果您的网站未被收录,通常是由以下原因引起的:
1. 您的网站所在服务器不稳定,被百度暂时性去除,稳定之后,问题会得到解决。
2. 您的网站有设计缺陷,导致spider无法正常抓取。
3. 您的网页不符合用户的搜索体验。
4. 网页是复制自互联网上的高度重复性的内容。
5. 网页做了很多针对搜索引擎而非用户的处理,使得用户从搜索结果中看到的内容与页面实际内容完全不同,或者使得网页在搜索结果中获得了不恰当的排名,从而导致用户产生受欺骗感觉。
6. 您的网页内容有不符合国家法律和法规规定的地方。
7. 您网站的robots协议禁止百度抓取。
8. 其他技术性问题。
您也可以到百度网站登陆上免费提交您的网址:http://www.baidu.com/search/url_submit.html
感谢使用百度。希望您继续支持与关注百度。
谢谢!
