robots.txt写法_网站优化必会的技巧

网站优化 作者:溪风seo

当前位置:主页 > 网站优化 > robots.txt写法_网站优化必会的技巧

我们在网站优化时,有些时候我们不想让蜘蛛抓取我们网站的一些内容,比如:后台数据,用户信息,所以robots.txt就起到很关键的作用了。

搜索引擎的蜘蛛,访问我们网站的时候,第一个文件就是robots.txt这个文件。1233451.robots.txt就是网站和各大搜索引擎之间的协议,通过这个文件,告诉蜘蛛那些文件你可以抓取,那些不可以抓取,在我们网站调试好代码,上线之前就要把这个文件做好,《注》在我们没搭建网站时候,千万不要禁止蜘蛛不要访问我们网站,这样是极不友好的,大家可以想想看,如果你都屏蔽了蜘蛛,以后他还会来吗!肯定后期对我们网站收录有影响,这时我们可以用空间商的二级域名来调试网站代码。
robots.txt写法_网站优化必会的技巧

2.robots语法 User-agent ?这个是定义蜘蛛的类型,常见的蜘蛛有百度、有道、谷歌、360、soso、搜狗等等。

Disallow 定义搜索引擎禁止抓取的文件

Allow ? ? 定义搜索引擎允许抓取的

$ 结束符 ?* ?多个任意字符或0匹配? / 单个符合搜索引擎认为是根目录

下面我们举例来说明:

robots.txt效果图

User-agent:*              //定义的是所有的搜索引擎

Disallow: /wp-admin/       //禁止抓取网站wp-admin这个目录

Disallow: /readme.html    //禁止抓取这个readme.html这个文件 

Disallow: /*&*            //禁止抓取动态链接中有&这个符号的链接

Disallow: /*%*           // 禁止抓取动态链接中有%这个符号的链接

Disallow: /tag=*         //禁止抓取动态链接中有tag=*这个符号中的链接

Disallow: /?feed         //禁止抓取有?feed有这个符号的链接

Disallow: /?=*           //禁止抓取有?=这个符号的链接

Sitemap: http://www.seochengdu.com/sitemap_baidu.xml

//定义搜索搜索引擎网站地图的位置,这里没有写用户的网站地图,就不过多的重复了

区别Disallow:/hao  和Disallow:/hao/这样有什么区别

Disallow:/hao  禁止文件比如:禁止蜘蛛抓取你网站的hao.html ,haoren.html,或者是hao/index.html

Disallow:/hao/ 禁止的目录:搜索引擎可以访问hao.html,haoren.html,但是不能访问hao/index.html这个文件夹里面的所有内容。

大家看完了这篇文章,是不是robost.txt是不是很简单了,赶快自己学着去写一下吧!

更多关于robot.txt的内容可以访问百度站长工具:http://zhanzhang.baidu.com/robots/index 有详细的讲解。

你可能喜欢的:
如何搭建自己的博客如何搭建自己的博客
网站地图制作网站地图制作
成都网站优化权重8的外成都网站优化权重8的外
如何对网站代码标签进如何对网站代码标签进
网站日志优化常见的优网站日志优化常见的优