搜索引擎就是搜索引擎就是比一般采集者有风度

搜索引擎就是搜索引擎就是比一般采集者有风度，

今天看了下日志，真是一塌糊涂，一堆搜索引擎的踪迹，

看了googlebot的建议，可以提高对我网站的抓取速度为“快”了。

和以前不同的是，多了一些不知道的采集者larbin_2.6.3+larbin2.6.3@unspecified.mail，在网上查了下说是见不得人的bot,哎，林子大了什么鸟都有呀

还有两个ip不同的死亡式采集者，一下就想把我的网站不停息的采集完，跟我以前做的采集程序那么像，说实话：真的很疯狂。不过提醒这位老大，还是加工一下自己的程序吧

虽然本人以前包括现在常以采集别人文章为乐，但看到自己的文章被人采了，真不是滋味，可悲呀。

另外发现：这些bot们，找我的目录的话比如：“200701”先返回 301, 然后有些再接着找“200701/Index.htm”而有些就不找了，比如msnbot,郁闷，不知道为什么，先在服务器上改了下“默认文档”明天观查下看看是什么情况。