robots.txt写法_网站优化必会的技巧

2016-04-22 15:49 阅读 1,205 次 评论 0 条

我们在网站优化时,有些时候我们不想让蜘蛛抓取我们网站的一些内容,比如:后台数据,用户信息,所以robots.txt就起到很关键的作用了。

搜索引擎的蜘蛛,访问我们网站的时候,第一个文件就是robots.txt这个文件。1233451.robots.txt就是网站和各大搜索引擎之间的协议,通过这个文件,告诉蜘蛛那些文件你可以抓取,那些不可以抓取,在我们网站调试好代码,上线之前就要把这个文件做好,《注》在我们没搭建网站时候,千万不要禁止蜘蛛不要访问我们网站,这样是极不友好的,大家可以想想看,如果你都屏蔽了蜘蛛,以后他还会来吗!肯定后期对我们网站收录有影响,这时我们可以用空间商的二级域名来调试网站代码。

2.robots语法 User-agent ?这个是定义蜘蛛的类型,常见的蜘蛛有百度、有道、谷歌、360、soso、搜狗等等。

Disallow 定义搜索引擎禁止抓取的文件

Allow ? ? 定义搜索引擎允许抓取的

$ 结束符 ?* ?多个任意字符或0匹配? / 单个符合搜索引擎认为是根目录

下面我们举例来说明:

QQ图片20160422160448

User-agent:*              //定义的是所有的搜索引擎
Disallow: /wp-admin/       //禁止抓取网站wp-admin这个目录
Disallow: /readme.html    //禁止抓取这个readme.html这个文件 
Disallow: /*&*            //禁止抓取动态链接中有&这个符号的链接
Disallow: /*%*           // 禁止抓取动态链接中有%这个符号的链接
Disallow: /tag=*         //禁止抓取动态链接中有tag=*这个符号中的链接
Disallow: /?feed         //禁止抓取有?feed有这个符号的链接
Disallow: /?=*           //禁止抓取有?=这个符号的链接
Sitemap: http://www.seochengdu.com/sitemap_baidu.xml
//定义搜索搜索引擎网站地图的位置,这里没有写用户的网站地图,就不过多的重复了

区别Disallow:/hao  和Disallow:/hao/这样有什么区别
Disallow:/hao  禁止文件比如:禁止蜘蛛抓取你网站的hao.html ,haoren.html,或者是hao/index.html
Disallow:/hao/ 禁止的目录:搜索引擎可以访问hao.html,haoren.html,但是不能访问hao/index.html这个文件夹里面的所有内容。

大家看完了这篇文章,是不是robost.txt是不是很简单了,赶快自己学着去写一下吧!
更多关于robot.txt的内容可以访问百度站长工具:http://zhanzhang.baidu.com/robots/index 有详细的讲解。

									
			
版权声明:本文著作权归原作者所有,欢迎分享本文,谢谢支持!
转载请注明:robots.txt写法_网站优化必会的技巧 | 溪风SEO技术博客
分类:网站优化 标签:
成都seo博客留言

发表评论

呲牙 憨笑 坏笑 偷笑 色 微笑 抓狂 睡觉 酷 流汗 鼓掌 大哭 可怜 疑问 晕 惊讶 得意 尴尬 发怒 奋斗 衰 骷髅 啤酒 吃饭 礼物 强 弱 握手 OK NO 勾引 拳头 差劲 成都seo

表情