|
发表于 2012-9-13 18:10:21
|
显示全部楼层
360搜索爬虫并不按照网站robot协议进行链接抓取。如果某些网站在设计中存在不断生成的循环链,而是一股脑将网站所有内容搬回搜索引擎。爬虫就会无休止地抓取这些链接,极易导致网站服务器不堪重负甚至宕机,无法为用户提供正常服务。据乌云披露的消息称,360方面已经确认了该漏洞存在但对如何解决这一漏洞并未做出更多说明。http://gz.360zexiao.com/item-list-16.html 广州课外辅导,532170236,这种漏洞的出现,也与360搜索技术不成熟有很大关系。CSDN副总裁,JavaEi创始人范凯表示,360爬虫非常流氓,小站基本一爬就死。技术水平不过关硬要做搜索,还是抱着怀疑态度的前奇虎360高管傅盛在9月3日发出的微博内容也印证了这一观点。傅盛称,奇虎2005年刚做搜索时,由于蜘蛛技术不过关,常把一些小网站爬死,导致很多站长用robot协议、禁止蜘蛛IP方法拒绝奇虎抓取。此次奇虎360再次进军搜索业务,重现当年违反robot协议一幕。不少中小网站由于无法承受360搜索爬虫的恶意索引,已经明确表示拒绝奇虎360访问,愤怒在站长群体中发酵并迅速蔓延。www.gfbz.cc 功夫煲仔,屏蔽360搜索爬虫的网站正从中小网站向主流网站过渡。据搜索专家采用技术手段核实,包括“央视网”内的数十家大型网站已悄然对奇虎360搜索爬虫进行了屏蔽。目前,采取屏蔽行动的网站数量正在不断上升当中。 |
|