在这里
不仅有你,还有我

robots.txt编写规则,如何让你的网页做好robots规则

在UNIX模式下编辑你的robots.txt文件并以ASCII码格式上传。显然并非所有的FTP客户端软件都能够天衣无缝地将文件格式转换为UNIX命令行终端,所以在编辑robots.txt文件时,一定要确保你的文本编辑器是在UNIX模式下。

或者使用工具如爱站工具生成robots,直接粘贴复制到网站后台。

检测robots是否生效:

在百度站长后台检测robots

二 robots和nofollow的区别是什么

robots只用于站内链接。禁止蜘蛛抓取进行收录;

nofollow的链接蜘蛛依然可以收录,但是不会传递权重,一般用于站外链接或者是公司电话,地址的页面有助于网址权重的集中。

三 网站误封robots后的处理

1.解封robots,然后到百度站长后台检测并更新Robots。

2.在百度站长后台抓取检测,此时显示抓取失败,通常更改完robots不会立即生效,需要等待几天,可以多点击抓取几次,触发蜘蛛抓取站点。

3.在百度站长后台抓取频次,申请抓取频次上调。

4.百度反馈中心,反馈是因为误操作导致了这种情况的发生。

5.百度站长后台链接提交处,设置数据主动推送(实时)。

6.更新sitemap网站地图,重新提交百度,每天手工提交一次。

四.新站robots的设置

对于已经上线但是还没有设置好的新站在robots中用

User-agent:*

Disallow:/

来禁止蜘蛛进行访问

meta标签

meta robots 标签是页面head部分meta标签的一种,用于指令搜索引擎禁止索引(收录)本页内容。

meta robots 标签的写法:

<meta name=”robots”content=”noindex,nofollow”>

标签的意义:禁止所有搜索引擎索引本页面,禁止跟踪本页面上的链接。

Noindex:搜索引擎不索引此网页(可以抓取,但不出现在搜索结果中)。

Nofollow: 搜索引擎不继续通过此网页的链接索引搜索其它的网页。

<meta name>=”robots”content=”noindex” >

标签的意义:禁止索引本页面,但允许蜘蛛跟踪页面上的链接,也可以传递权重。

使用了noindex meta robots标签的页面会被抓取,但不会被索引,也就是说页面URL不会出现在搜索结果中,这一点与robots文件不同。

meta robots 标签的作用:

1、不想让网站被收录使用meta robots 标签,禁止搜索引擎索引本页,同时禁止跟踪页面上的链接。

2、禁止索引本页面,但是允许蜘蛛跟踪页面链接,也可以传递权重。

meta robots标签很多搜索引擎是不支持的,只有少数搜索引擎能够识别并按给定的值抓取。因此还是推荐用robots.txt文件来限制抓取.

赞(0) 打赏
版权声明:本站部分文章转载自互联网,如有侵权或出处有误请联系网站管理员平缓的老猎人 » robots.txt编写规则,如何让你的网页做好robots规则

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址