手机版 | 登陆 | 注册 | 投稿 | 反馈留言 | 设首页 | 加收藏
网站首页 > 网站优化 > seo优化 > seo优化技巧 >搜索规则文件robot.txt文件作用和语法

搜索规则文件robot.txt文件作用和语法

时间:2020-03-18    点击: 次    发布者:佚名 - 小 + 大

seo工作者应该不陌生,robots.txt文件是每一个搜索引擎蜘蛛到你的网站之后要寻找和访问的第一个文件,robots.txt是你对搜索引擎制定的一个如何索引你的网站的规则。通过该文件,搜索引擎就可以知道在你的网站中哪些文件是可以被索引的,哪些文件是被拒绝索引的,我们就可以很方便地控制搜索索引网站内容了。

 

robots.txt文件的作用:

 

1、屏蔽网站内的死链接。2、屏蔽搜索引擎蜘蛛抓取站点内重复内容和页面。3、阻止搜索引擎索引网站隐私性的内容。

 

因此建立robots.txt文件是很有必要的,网站中重复的内容、页面或者404信息过多,搜索引擎蜘蛛就会认为该网站价值较低,从而降低对该网站的“印象分”,这就是我们经常听到的“降低权重”,这样网站的排名就不好了。

 

robots.txt文件需要注意的最大问题是:必须放置在一个站点的根目录下,而且文件名必须全部小写。

 

robots.txt文件的基本语法只有两条,第一条是:User-agent,即搜索引擎蜘蛛的名称;第二条是:Disallow,即要拦截的部分。

 

下面我们看一下撰写基本的robots.txt文件所需要知道的一些语法和作用。

 

1),允许所有的搜索引擎访问网站的所有部分或者建立一个空白的文本文档,命名为robots.txt

 

User-agent:*

 

Disallow:

 

或者

 

User-agent:*

 

Allow:/

 

2),禁止所有搜索引擎访问网站的所有部分。

 

User-agent:*

 

Disallow:/

 

3),禁止百度索引你的网站。

 

User-agent:Baiduspider

 

Disallow:/

 

4),禁止Google索引你的网站。

 

User-agent:Googlebot

 

Disallow:/

 

5),禁止除百度以外的一切搜索引擎索引你的网站。

 

User-agent:Baiduspider

 

Disallow:

 

User-agent:*

 

Disallow:/

 

6),禁止除Google以外的一切搜索引擎索引你的网站。

 

User-agent:Googlebot

 

Disallow:

 

User-agent:*

 

Disallow:/

 

7),禁止和允许搜索引擎访问某个目录,如:禁止访问admin目录;允许访问images目录。

 

User-agent:*

 

Disallow:/admin/

 

Allow:/images/

 

8),禁止和允许搜索引擎访问某个后缀,如:禁止访问admin目录下所有php文件;允许访问asp文件。

 

User-agent:*

 

Disallow:/admin/*.php$

 

Allow:/admin/*.asp$

 

9),禁止索引网站中所有的动态页面(这里限制的是有“?”的域名,如:index.php?id=8)。

 

User-agent:*

 

Disallow:/*?*

上一篇:web前端开发过程中SEO优化几大要点

下一篇:如何实现网站的防盗链?



Copyright © 2020 天人系列管理系统 版权所有,授权www.rjc.wang使用  Powered by 55TR.COM 运行代码测试页
锐教程网站www.rjc.wang由天天科技荣誉出品