蜗牛云竞价托管网提供最权威最有效的关键词排名和网站SEO优化解决方案 竞价托管服务新闻源发稿 网站托管 百度推广托管 网站SEO优化 关键词排名 网络营销
新闻发稿
百度推广托管

欢迎拨打热线

欢迎咨询
合作共赢
展开悬浮客服
首页 » seo优化 » 网站日志分析什么内容_了解网站蜘蛛爬行时间

网站日志分析什么内容_了解网站蜘蛛爬行时间

作者:蜗牛竞价托管 来源:www.wnsem.com 915 浏览

做为一名合格的网站托管员,除了对网站的站内站外做一些推广优化外,还要学会看网站的日志,在对网站日志分析时,可以分析的网站是否被各搜索引擎喜欢,还可以看到搜索引擎蜘蛛抓取的记录以及用户的一些行为记录,对于网站托管员来讲这是提升网站的一个关键点,每天看网站日志可以看到网站有哪些的不足,需要改善,今天竞价托管小编跟大家分享一下网站日志的被各搜索引擎蜘蛛抓取的一些行为。

网站日志分析什么内容

一、蜘蛛访问的次数、停留时间以及抓取的数量。

(1)、平均每次抓取页面数=总抓取量/访问次数

(2)、单页抓取停留=每次停留/每次抓取

(3)、平均每次停留时间=总停留时间/访问次数

网站托管员从这些数据中可以很好的看出百度蜘蛛在网站上的活跃度、是否亲和,以及网站内容抓取的深度等等有效的数据。当网站中总的访问频次、蜘蛛停留的时间,以及网站抓取程度的是否高,从这些都是可以看出网站是否受到蜘蛛的喜爱。并且在网站单页面的蜘蛛停留时间的长短也可以看出网站的文章页面是否受蜘蛛的喜爱。

竞价托管网编小提示:如果你想要长期发展一个网站的话,建议各位定期的整理出网站数据报表,这样对网站的发展也会有着很好的帮助。

二、了解最新最准确各大搜索引擎蜘蛛名称.

网络蜘蛛(Web Spider)又称为:“网络爬虫”,“机器人”,简称“蜘蛛”。是通过网页的链接地址来寻找网页,从网站某一个页面(通常是首页)开始,读取网页的内容,找到在网页中的其它链接地址,然后通过这些链接地址寻找下一个网页,这样一直循环下去,直到把这个网站所有的网页都抓取完为止。  网络蜘蛛就是一个爬行程序,一个抓取网页的程序。网络蜘蛛与搜索引擎有着比较密切的关系,目前全球知名的搜索引擎google、百度、雅虎等都为各自开发了网络蜘蛛程序。

百度蜘蛛:baiduspider

谷歌蜘蛛:Googlebot

360蜘蛛:360Spider

SOSO蜘蛛:Sosospider

雅虎蜘蛛:“Yahoo! Slurp China”或者Yahoo!

有道蜘蛛:YoudaoBot,YodaoBot

搜狗蜘蛛:Sogou News Spider

MSN蜘蛛:msnbot,msnbot-media

必应蜘蛛:bingbot

三、网站目录蜘蛛抓取的统计。

通过网站日志的分析,可以很好的看出网站的哪些目录比较受蜘蛛的喜爱,蜘蛛经常抓取收录,并且给予的排名权重状况。并且可以通过这些数据能够发现很多问题,对于想要突出的栏目可以通过内部结构来进行指向,从而有效的增加栏目的权重和蜘蛛抓取的程度。对于那些不希望蜘蛛抓取的页面,也可以进行屏蔽。

四、网站页面的抓取。

通过网站日志分析统计中,网站托管员可以看出哪些网站页面比较受蜘蛛的喜爱,并且可以了解到蜘蛛在这些页面的抓取行为,例如说蜘蛛是否抓取了一些没有被收 录价值的页面,或者重复的抓取了一些页面等,大家都知道这样会影响到网站其他页面的权重传递的。就比如说竞价托管小编的网站竞价推广频道通常就要比sem培训频道抓取的勤快,收录健康程度也较好,所以竞价托管小编现在定期在sem培训频道的文章中添加进入一些网站图片,不仅仅美观还有效的提升了sem培训频道文章的收录,所以通过网站日志分析,可以屏蔽蜘蛛抓取这些没有价值的页面,也有效的提高了其他页面权重的传递,并且学习蜘蛛比较喜爱的页面优点来补充其他页面的不足。

五、了解搜索引擎蜘蛛是否访问网站的页面以及访问页面的状态代码。

很多网站管理者的网站首页经常不在第一位,网站发布的文章也经常不收录,面对这样的情况都会想蜘蛛有没有到网站来抓取东西。这时可以通过网站日志来看是否有蜘蛛IP的记录就可以了解蜘蛛是否来爬行我们的网站,从而判断是否是我们网站质量的原因导致不收录。并且也可以看出蜘蛛访问我们网站页面的状态代码,例如说301、503、403等,当出现这样情况的时候,我们尽早做处理,以免成为网站降权的隐患。网站日志分析什么内容

【以下是网站日志代码解读,网站管理者大概了解一下】

凡以1xx开头的属于临时响应: 表示临时响应并需要请求者继续执行操作的状态代码100 (继续) 请求者应当继续提出请求。 服务器返回此代码表示已收到请求的第一部分,正在等待其余部分。

101 (切换协议) 请求者已要求服务器切换协议,服务器已确认并准备切换。

以2xx开头的说明成功 表示成功处理了请求的状态代码200 (成功) 服务器已成功处理请求,通常这表示服务器提供了请求的网页。 201 (已创建) 请求成功并且服务器创建了新的资源。

202 (已接受) 服务器已接受请求,但尚未处理。

203 (非授权信息) 服务器已成功处理请求,但返回信息可能来自另一来源。

204 (无内容) 服务器成功处理了请求,但没有返回任何内容。

205 (重置内容) 服务器成功处理了请求,但没有返回任何内容。

206 (部分内容) 服务器成功处理了部分 GET 请求。

  3xx (重定向)表示要完成请求需要进一步操作。通常这些状态代码用来重定向。

300 (多种选择) 针对请求,服务器可执行多种操作。 服务器可根据请求者 (user agent) 选择一项操作,或提供操作列表供请求者选择。

301 (永久移动) 请求的网页已永久移动到新位置。 服务器返回此响应(对 GET 或 HEAD 请求的响应)时,会自动将请求者转到新位置。

302 (临时移动) 服务器目前从不同位置的网页响应请求,但请求者应继续使用原有位置来进行以后的请求。

303 (查看其他位置) 请求者应当对不同的位置使用单独的 GET 请求来检索响应时,服务器返回此代码。

304 (未修改) 自从上次请求后,请求的网页未修改过。 服务器返回此响应时,不会返回网页内容。

305 (使用代理) 请求者只能使用代理访问请求的网页。 如果服务器返回此响应,还表示请求者应使用代理。

307 (临时重定向) 服务器目前从不同位置的网页响应请求,但请求者应继续使用原有位置来进行以后的请求。

4xx(请求错误)  这些状态代码表示请求可能出错,妨碍了服务器的处理。

400 (错误请求) 服务器不理解请求的语法。

401 (未授权) 请求要求身份验证,对需要登录的网页服务器可能返回此响应。

403 (禁止) 服务器拒绝请求。

404 (未找到) 服务器找不到请求的网页。

405 (方法禁用) 禁用请求中指定的方法。

406 (不接受) 无法使用请求的内容特性响应请求的网页。

407 (需要代理授权) 此状态代码与401(未授权)类似,但指定请求者应当授权使用代理。

408 (请求超时) 服务器等候请求时发生超时。

409 (冲突) 服务器在完成请求时发生冲突。 服务器必须在响应中包含有关冲突的信息。

410 (已删除) 如果请求的资源已永久删除,服务器就会返回此响应。

411 (需要有效长度) 服务器不接受不含有效内容长度标头字段的请求。

412 (未满足前提条件) 服务器未满足请求者在请求中设置的其中一个前提条件。

413 (请求实体过大) 服务器无法处理请求,因为请求实体过大,超出服务器的处理能力。

414 (请求的 URI 过长) 请求的 URI(通常为网址)过长,服务器无法处理。

415 (不支持的媒体类型) 请求的格式不受请求页面的支持。

416 (请求范围不符合要求) 如果页面无法提供请求的范围,则服务器会返回此状态代码。

417 (未满足期望值) 服务器未满足”期望”请求标头字段的要求。

5xx(服务器错误)这些状态代码表示服务器在尝试处理请求时发生内部错误。 这些错误可能是服务器本身的错误,而不是请求出错。

500 (服务器内部错误) 服务器遇到错误,无法完成请求。

501 (尚未实施) 服务器不具备完成请求的功能。 例如,服务器无法识别请求方法时可能会返回此代码。

502 (错误网关) 服务器作为网关或代理,从上游服务器收到无效响应。

503 (服务不可用) 服务器目前无法使用(由于超载或停机维护)。 通常,这只是暂时状态。

504 (网关超时) 服务器作为网关或代理,但是没有及时从上游服务器收到请求。

505 (HTTP 版本不受支持) 服务器不支持请求中所用的 HTTP 协议版本。

网站日志分析什么内容

六、了解网站日志蜘蛛抓取的时间段。

对网站日常日志分析总结中,你会很开心的发现蜘蛛会在每天的一个特定时间内在网站爬行抓取的很活跃,当网站管理员了解到这样的情况,可以再特定的时间去更新网站内容,这个可以更加有效的让蜘蛛抓取网站内容,从而达到一个秒收的效果。

竞价托管小编总结一下:网站日志分析对于站长来说,是一个长期坚持下去的工作,站长朋友一定要学会分析网站日志,知道网站是不是被搜索引擎喜欢的,如果在检查网站日志中发现一些不好问题,记得及时改正,不知道怎么解决的,在百度里面查找一下,也许其它网站管理员也会遇到跟你同样的问题,可以好好学习一下。最后竞价托管小编祝大家的网站都是被搜索引擎喜欢的,在国内,当然是希望被百度蜘蛛喜欢啦。

 

网站托管
本文地址:http://www.wnsem.com/archives/1023

标签:, ,

 
首页| 百度竞价托管| 百度竞价教程| 网站SEO优化| 网站数据分析| 360竞价学习| 搜狗推广学习| 常见问题| 联系博主| sitemap| 网站地图
  QQ联系:2357937747     蜗牛云竞价托管投稿/站务邮箱:admin*wnsem.com(发信时*改为@即可)
TCP/IP备案号:京ICP备15004918号-1 Copyright 2015, 版权所有 www.wnsem.com.
特别声明:站内部分SEO网站优化百度竞价推广内容来源网络,如有侵犯版权请联系本站予以删除,谢谢!
蜗牛云竞价托管网为个人或单位提供竞价托管网站seo优化新闻发稿关键词排名
分享到: 10