平缓的老猎人
在UNIX模式下编辑你的robots.txt文件并以ASCII码格式上传。显然并非所有的FTP客户端软件都能够天衣无缝地将文件格式转换为UNIX命令行终端，所以在编辑robots.txt文件时，一定要确保你的文本编辑器是在UNIX模式下。
或者使用工具如爱站工具生成robots,直接粘贴复制到网站后台。
检测robots是否生效：
在百度站长后台检测robots
二 robots和nofollow的区别是什么
robots只用于站内链接。禁止蜘蛛抓取进行收录；
nofollow的链接蜘蛛依然可以收录，但是不会传递权重，一般用于站外链接或者是公司电话，地址的页面有助于网址权重的集中。
三 网站误封robots后的处理
1.解封robots，然后到百度站长后台检测并更新Robots。
2.在百度站长后台抓取检测，此时显示抓取失败，通常更改完robots不会立即生效，需要等待几天，可以多点击抓取几次，触发蜘蛛抓取站点。
3.在百度站长后台抓取频次，申请抓取频次上调。
4.百度反馈中心，反馈是因为误操作导致了这种情况的发生。
5.百度站长后台链接提交处，设置数据主动推送（实时）。
6.更新sitemap网站地图，重新提交百度，每天手工提交一次。
四.新站robots的设置
对于已经上线但是还没有设置好的新站在robots中用
User-agent：*
Disallow:/
来禁止蜘蛛进行访问
meta标签
meta robots 标签是页面head部分meta标签的一种，用于指令搜索引擎禁止索引（收录）本页内容。
meta robots 标签的写法：
<meta name=”robots”content=”noindex,nofollow”>
标签的意义：禁止所有搜索引擎索引本页面，禁止跟踪本页面上的链接。
Noindex：搜索引擎不索引此网页（可以抓取，但不出现在搜索结果中）。
Nofollow： 搜索引擎不继续通过此网页的链接索引搜索其它的网页。
<meta name>=”robots”content=”noindex” >
标签的意义：禁止索引本页面，但允许蜘蛛跟踪页面上的链接，也可以传递权重。
使用了noindex meta robots标签的页面会被抓取，但不会被索引，也就是说页面URL不会出现在搜索结果中，这一点与robots文件不同。
meta robots 标签的作用：
1、不想让网站被收录使用meta robots 标签，禁止搜索引擎索引本页，同时禁止跟踪页面上的链接。
2、禁止索引本页面，但是允许蜘蛛跟踪页面链接，也可以传递权重。
meta robots标签很多搜索引擎是不支持的，只有少数搜索引擎能够识别并按给定的值抓取。因此还是推荐用robots.txt文件来限制抓取.
