网站日志优化常见的优化技术

网站优化 作者:溪风seo

当前位置:主页 > 网站优化 > 网站日志优化常见的优化技术

一个合格的优化专员,应该熟悉的掌握分析网站日志的优化技术,今天溪风seo顾问就针对这类的问题,给大家做一个实战演习,最近网站改版后导致了网站出现了大量的404无效页面,尽管这边已经把站点的相关死链接作了相关的处理,但是搜索引擎还是在无规则的抓取,为了让搜索引擎的蜘蛛更快速、高效的抓取网站的数据,作了以下调整。

网站日志优化技术.jpg

成都seo优化网站日志:

通过这个日志我们可以看出百度蜘蛛抓取一天的数量有178次,谷歌蜘蛛58次,搜狗的蜘蛛170次,360的蜘蛛来了107次,但是在抓取网站的数据中有一些没有的数据都抓取,导致出现了大量的404,也不知道网站改版后搜索引擎是识别cms的源码程序,还是什么了,为了提高蜘蛛的抓取效率,我们需要对这些面面作出相应的调整。

成都seo网站日志下载:access.zip

QQ图片20180901235128.png

robots文件进行禁止

只有有效的禁止了蜘蛛的无效抓取,才能保证站点的收录和索引正常。下面针对404的抓取的错误页面,溪风seo作出了如下调整。

Disallow: /*seochengdu-*
Disallow: /*.php*
Disallow: /*.asp*
Allow: /tags.php

如何判断输定的规则正确性

当我们写好了相关的robotx指令以后,这个时候我们可以通过百度站长工具里的robots进行测试,点击检测并更新,已经发现robots的规则已经上传到网站的根目录里。

下面对输写的robots进行校验,发现.asp,.php,.seochengdu-等这些曾经抓取的404错误页面已经有效的屏蔽了,但是我们误杀了一个重要的tags.php这个页面,所以只需要再添加一下单独充许的抓取的指令就可以了。

QQ图片20180901235233.png

总结:通过分析网站的日志,不仅可以得出搜索引擎对我们网站的友好度,以及抓取的频次,抓取时间,什么类型的蜘蛛等相关有利的优化数据,为以后网站优化的调整做出了很好的参考依据。

网站日志分析相关参考资料:

网站日志什么robots.txt文件.pdf  

网站日志robots.txt文件用法举例.pdf

你可能喜欢的:
如何搭建自己的博客如何搭建自己的博客
网站地图制作网站地图制作
成都网站优化权重8的外成都网站优化权重8的外
如何对网站代码标签进如何对网站代码标签进
乖乖防鸟网厂家网站优乖乖防鸟网厂家网站优