徐延昆、 发表于 2012-2-28 11:41:18

青岛网站设计,㊣百度蜘蛛的脾气和抓取原则大总结

青岛小手网络公司致力于提供网站SEO优化、网络营销推广服务。一站式的网站策划设计建站到后期维护推广服务http://www.qdxswl.com。
蜘蛛,搜索引擎的爬取机器人,每天都会到处逛,这边抓抓,那边取取,肆无忌惮,不过就算这样,我们也得把它当大爷看待,还得拼命的去讨好他,因为它直接决定网站的收录多少,直接决定网站的权重。以前我基本很少看网站日志的,太费神了,一大堆挤在一起的英文和数字,看得头疼,直到有次做站,被降权后,为了讨好蜘蛛,为了让网站早日恢复,就强制着自己去砍,而且随着SEO知识的不断深入,发现网站日志实在好用,尤其是可以直观的看到蜘蛛如何爬取网站,根据蜘蛛的爬取规律,来更新文章,大大的提高了网站的收录。
  很多SEOer都把蜘蛛比作一个人,有它自己的喜好,有它自己的原则,你配合它的工作,它会给你收录足够多的东西,来网站也勤快,你不配合它,那就等着被降权吧。下面我就说说蜘蛛的一些喜好和原则。
  1、蜘蛛来爬取网站的时间一般都差不多,一般每天2次,当然一些大型网站都不一样,我说的都是中小型网站,如果来了2次以上,说明你网站让蜘蛛喜欢,如果没有2次,抱歉,青岛做网站公司你该检讨下自己做站的方法了。根据蜘蛛来的时间,我们可以制定出网站更新内容的时间,在蜘蛛来之前,把内容更新好,对收录有很大的提升。即使A5这样的大站也不例外,他们审核通过的软文不会立刻就放出来,而是统一在三个时间段来放,估计也是这个原因。
  2、蜘蛛和人一样,在第一次来的时候,就会给蜘蛛留下比较深的印象,它会记着你网站是做什么的,记着你网站的标题,记着你的排版,如果你的这些做的让蜘蛛看不下去,那么你网站的首页收录时间可能要比平常人多1-2周,甚至更久,而且当它已经记下这些的时候,你不能随意更改,改动大了,结局你懂的,要改最好在蜘蛛没来过你网站之前就改好。
  3、蜘蛛决定着网站的快照,在网站的不断爬取中不断的带走东西,说明网站的内容质量好,它以后就来的越勤快,那么网站的快照肯定也会更好,形成一个良好的循环,这也是成就高权重网站的一个基本要求。
  4、随着搜索引擎的不断发展,青岛网站建设设计制作公司就会淘汰旧信息,留下最新的信息,这也造就了蜘蛛的喜新厌旧,对于新鲜信息,总会乐此不疲的去抓取�青岛网站建设设计制作绻忝刻於几故承孪实男畔ⅲ敲此突崤赖脑交叮交毒筒怀钔久环⒄沽耍栽春苤匾潜匦氲模淙辉春芾眩绕涫敲刻煸矗胂刖腿萌送诽郏俏耸章迹送荆颐潜匦胝饷醋觯珹5为什么发展的一直那么好,就是因为其每天都有无数人为其提供高质量的原创软文,蜘蛛几乎就呆那不走了。
  5、人越多的地方,蜘蛛也越喜欢去,众人喜欢的地方,必有其可爱之处,这也造就了那么多高权重论坛的权重越来越高,尤其是一些视频网站,优酷、土豆、搜狐什么的,权重都满10了,就是由于每天点击观看的人数超多,点击量大和跳出率都很低的网站权重都很高。
  6、蜘蛛最烦的应该就是那些服务器不稳定的网站,网站不稳定会导致蜘蛛在网站里面爬取的时候撞得头晕眼花,无法正常的去爬取内容,火大的时候,甚至直接回家,毛都不带走,可能回去就要告你状,降你权。
  7、蜘蛛也会被人影响,人多的它喜欢,别人喜欢、推崇的它也会喜欢,就如友情链接,就比如书签。
  8、还有很多蜘蛛都不喜欢的,像网站层次很多的、动态URL的、有大量JS代码的、有FLASH的、有跳转的、要登录才能浏览的,像这些类型的网站,蜘蛛不是看不懂,就是不认识,他就不抓取。
页: [1]
查看完整版本: 青岛网站设计,㊣百度蜘蛛的脾气和抓取原则大总结