昆山昆网网络科技有限公司
当前位置:主页 > 网站优化 >

做好昆山网站优化你要明白搜索引擎的爬行和抓

发表日期:2019-01-04 08:53文章编辑:admin浏览次数: 标签:    

         搜索引擎的爬行和抓取是通过蜘蛛来进行的,每个搜索引擎都有自己相应的蜘蛛机器人。昆山网站优化搜索引擎的蜘蛛爬行页面的方式和普通用户访问网站的方法是类似的。搜索引擎蜘蛛向页面发起访问请求后,服务器会返回相应的html代码,蜘蛛就把这些代码存入页面的原始数据库中。同时为了提高自身爬行和抓取的速度,搜索引擎会散布多个蜘蛛进行爬行。
 
 
         蜘蛛每当访问一个网站的时候都会先爬行网站的robots文件,通过对robots文件进行分析哪些是需要爬行和抓取的,哪些是禁止爬行和抓取的。蜘蛛不会爬行抓取那些被咱们禁止的页面。
 
         不同的搜索引擎蜘蛛都有自己的名称,站长可以通过网站的日志分析各个搜索引擎蜘蛛对网站的爬行情况。
 
         搜索引擎蜘蛛为了能抓取到更多的页面,会跟踪页面上的链接, 进行一个页面一个页面的爬行,就好像是蜘蛛在蜘蛛网上爬行,这也是蜘蛛这一称谓的来源。蜘蛛的爬行策略分为两种,一种是深度优先,一种是广度优先。
 
         蜘蛛会跟踪页面上的链接逐个深入的进行爬行,直到爬行到无连接的页面为止就会返回原始的页面跟踪下一条链接进行上述的爬行。这就是深度优先。
 
         同一个页面具有多个链接的时候,蜘蛛首先会对这些链接全部爬行一边然后才会对第二层的链接进行爬行。这就是广度优先。
 
         蜘蛛在爬行的时候一般都是深度优先和广度优先结合使用的,这样可以爬行更多的网站,同时也会给予内页一部分爬行。
 
         一般影响蜘蛛爬行深度的因素有以下几种:
 
         网站和网页的权重,权重越高的蜘蛛爬行深度就越深,同时收录也就越高;
 
         页面更新的速度,如果页面长期不更新,蜘蛛会慢慢的降低对该页面的爬行深度;
 
         导入链接的质量,相对而言质量高的导入链接蜘蛛爬行的深度也就越深;
 
         页面距离首页的距离,昆山网站优化距离首页越远被爬行的机会就越少。
相关新闻

宣传优化网站 内容是关键要保质保证新鲜度

很多公司做网站,运动各种人才来进步流量, 昆山网站优化 技术,进步自己在搜索引擎上的排...

日期:2019-03-06 浏览次数:83

alt文字有必要做好

alt文字是指替换图片的文字,有时候 昆山网站优化 因为浏览器的原因,或者网络的原因导致图...

日期:2019-03-04 浏览次数:156

集中权重良方之合理应用网站内链

网站内链顾名思义就是在同一网站下的内容页面与内容页面之间,内容页面与频道页面之间的...

日期:2019-02-26 浏览次数:188

外链为皇,做好外链不能不知道的事儿

每天做外链,发外链,可是你知道外链都有哪些吗?搜索引擎 昆山网站优化 总结多年经验和我...

日期:2019-02-25 浏览次数:71

关于网站内容质量昆山网站优化中的优化建议

前几天,百度官方发报表了一个《百度搜索引擎网页质量白皮书》,大体的理解下就是,内容...

日期:2019-02-22 浏览次数:66

5分钟了解百度为什么不收录网站

今日总结下网站不被录入的几个因素,你只需花费10分钟的时刻阅读完这个文章, 昆山网站优...

日期:2019-02-21 浏览次数:153