折叠编辑本段根本引见
robots.txt文件是一个文本文件，运用任何一个常见的文本编辑器，比方Windows系统自带的Notepad，就能够创立和编辑它[2]。robots.txt是一个协议，而不是一个命令。robots.txt是搜索引擎中访问网站的时分要查看的第一个文件。robots.txt文件通知蜘蛛程序在效劳器上什么文件是能够被查看的。
当一个搜索蜘蛛访问一个站点时，它会首先检查该站点根目录下能否存在robots.txt，假如存在，搜索机器人就会依照该文件中的内容来肯定访问的范围；假如该文件不存在，一切的搜索蜘蛛将可以访问网站上一切没有被口令维护的页面。百度官方倡议，仅当您的网站包含不希望被搜索引擎收录的内容时，才需求运用robots.txt文件。假如您希望搜索引擎收录网站上一切内容，请勿树立robots.txt文件。
假如将网站视为酒店里的一个房间，robots.txt就是主人在房间门口悬挂的“请勿打搅”或“欢送清扫”的提示牌。这个文件通知来访的搜索引擎哪些房间能够进入和参观，哪些房间由于寄存贵重物品，或可能触及住户及访客的隐私而不对搜索引擎开放。但robots.txt不是命令，也不是防火墙，好像守门人无法阻止窃贼等歹意闯入者。
折叠编辑本段协议引见
折叠编辑本段运用阐明
- 1、robots.txt能够通知百度您网站的哪些页面能够被抓取，哪些页面不能够被抓取。
- 2、您能够经过Robots工具来创立、校验、更新您的robots.txt文件，或查看您网站robots.txt文件在百度生效的状况。
- 3、Robots工具暂不支持https站点。
- 4、Robots工具目前支持48k的文件内容检测，请保证您的robots.txt文件不要过大，目录最长不超越250个字符。
折叠编辑本段文件引见
折叠文件写法
User-agent: * 这里的*代表的一切的搜索引擎品种，*是一个通配符
Disallow: /admin/ 这里定义是制止爬寻admin目录下面的目录
Disallow: /require/ 这里定义是制止爬寻require目录下面的目录
Disallow: /ABC/ 这里定义是制止爬寻ABC目录下面的目录
Disallow: /cgi-bin/*.htm 制止访问/cgi-bin/目录下的一切以".htm"为后缀的URL(包含子目录)。
Disallow: /*?* 制止访问网站中一切的动态页面
Disallow: /.jpg$ 制止抓取网页一切的.jpg格式的图片
Disallow:/ab/adc.html 制止爬取ab文件夹下面的adc.html文件。
Allow: /cgi-bin/ 这里定义是允许爬寻cgi-bin目录下面的目录
Allow: /tmp 这里定义是允许爬寻tmp的整个目录
Allow: .htm$ 仅允许访问以".htm"为后缀的URL。
Allow: .gif$ 允许抓取网页和gif格式图片
折叠文件用法
例1. 制止一切搜索引擎访问网站的任何局部 
User-agent: *
Disallow: /
实例剖析：淘宝网的 Robots.txt文件
User-agent: Baiduspider
Disallow: /
User-agent: baiduspider
Disallow: /
很显然淘宝不允许百度的机器人访问其网站下其一切的目录。
例2. 允许一切的robot访问 (或者也能够建一个空文件 “/robots.txt” file)
User-agent: *
Allow:
例3. 制止某个搜索引擎的访问
User-agent: BadBot
Disallow: /
例4. 允许某个搜索引擎的访问
User-agent: Baiduspider
allow:/
例5.一个简单例子
在这个例子中，该网站有三个目录对搜索引擎的访问做了限制，即搜索引擎不会访问这三个目录。
需求留意的是对每一个目录必需分开声明，而不要写成 “Disallow: /cgi-bin/ /tmp/”。
User-agent:后的*具有特殊的含义，代表“any robot”，所以在该文件中不能有“Disallow: /tmp/*” or “Disallow:*.gif”这样的记载呈现。
User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /~joe/
折叠Robot特殊参数
允许 Googlebot
假如您要拦截除 Googlebot以外的一切遨游器不能访问您的网页，能够运用下列语法：
User-agent:
Disallow: /
User-agent: Googlebot
Disallow:
Googlebot 跟随指向它本人的行，而不是指向一切遨游器的行。
“Allow”扩展名
Googlebot 可辨认称为“Allow”的 robots.txt 规范扩展名。其他搜索引擎的遨游器可能无法辨认此扩展名，因而请运用您感兴味的其他搜索引擎停止查找。“Allow”行的作用原理完整与“Disallow”行一样。只需列出您要允许的目录或页面即可。
您也能够同时运用“Disallow”和“Allow”。例如，要拦截子目录中某个页面之外的其他一切页面，能够运用下列条目：
User-agent: Googlebot
Disallow: /folder1/
Allow: /folder1/myfile.html
这些条目将拦截 folder1 目录内除 myfile.html 之外的一切页面。
假如您要拦截 Googlebot 并允许 Google 的另一个遨游器（如 Googlebot-Mobile），可运用”Allow”规则允许该遨游器的访问。例如：
User-agent: Googlebot
Disallow: /
User-agent: Googlebot-Mobile
Allow:
运用 * 号匹配字符序列
您可运用星号 (*) 来匹配字符序列。例如，要拦截对一切以 private 开头的子目录的访问，可运用下列条目： User-Agent: Googlebot
Disallow: /private*/
要拦截对一切包含问号 (?) 的网址的访问，可运用下列条目：
User-agent: *
Disallow: /*?*
运用 $ 匹配网址的完毕字符
您可运用 $ 字符指定与网址的完毕字符停止匹配。例如，要拦截以 .asp 结尾的网址，可运用下列条目： User-agent: Googlebot
Disallow: /*.asp$
您可将此形式匹配与 Allow 指令配合运用。例如，假如 ? 表示一个会话 ID，您可扫除一切包含该 ID 的网址，确保 Googlebot 不会抓取反复的网页。但是，以 ? 结尾的网址可能是您要包含的网页版本。在此状况下，可对 robots.txt 文件停止如下设置：
User-agent: *
Allow: /*?$
Disallow: /*?
Disallow: / *?
一行将拦截包含 ? 的网址（详细而言，它将拦截一切以您的域名开头、后接恣意字符串，然后是问号 (?)，然后又是恣意字符串的网址）。
Allow: /*?$ 一行将允许包含任何以 ? 结尾的网址（详细而言，它将允许包含一切以您的域名开头、后接恣意字符串，然后是问号 (?)，问号之后没有任何字符的网址）。
折叠编辑本段其它属性
1. Robot-version: 用来指定robot协议的版本号
例子: Robot-version: Version 2.0
2.Crawl-delay：雅虎YST一个特定的扩展名，能够经过它对我们的抓取程序设定一个较低的抓取恳求频率。您能够参加Crawl-delay:xx指示，其中，“XX”是指在crawler程序两次进入站点时，以秒为单位的最低延时。
3. Visit-time:只要在visit-time指定的时间段里,robot才能够访问指定的URL,否则不可访问.
例子: Visit-time: 0100-1300 #允许在清晨1:00到13:00访问
4. Request-rate: 用来限制URL的读取频率
例子: Request-rate: 40/1m 0100 - 0759 在1:00到07:59之间,以每分钟40次的频率停止访问
Request-rate: 12/1m 0800 - 1300 在8:00到13:00之间,以每分钟12次的频率停止访问
折叠编辑本段留意事项
折叠RobotsMeta标签
Robots.txt文件主要是限制整个站点或者目录的搜索引擎访问状况，而Robots Meta标签则主要是针对一个个详细的页面。和其他的META标签（如运用的言语、页面的描绘、关键词等）一样，Robots Meta标签也是放在页面中，特地用来通知搜索引擎ROBOTS如何抓取该页的内容。
Robots Meta标签中没有大小写之分，name=”Robots”表示一切的搜索引擎，能够针对某个详细搜索引擎写为name=”BaiduSpider”。content局部有四个指令选项：index、noindex、follow、nofollow，指令间以“,”分隔。 index指令通知搜索机器人抓取该页面；
follow指令表示搜索机器人能够沿着该页面上的链接继续抓取下去；
Robots Meta标签的缺省值是index和follow，只要inktomi除外，关于它，缺省值是index、nofollow。
折叠双方协议
上述的robots.txt和Robots Meta标签限制搜索引擎机器人（ROBOTS）抓取站点内容的方法只是一种规则，需求搜索引擎机器人的配合才行，并不是每个ROBOTS都恪守的。
目前看来，绝大多数的搜索引擎机器人都恪守robots.txt的规则，而关于RobotsMETA标签，目前支持的并不多，但是正在逐步增加，如著名搜索引擎GOOGLE就完整支持，而且GOOGLE还增加了一个指令“archive”，能够限制GOOGLE能否保存网页快照。
折叠两个准绳
1、搜索技术应效劳于人类，尊重信息提供者的意愿，并维护其隐私权；
2、网站有义务维护其运用者的个人信息和隐私不被进犯。
Robots协议目的是为了限制谷歌，但最终却协助Google和百度这样的垄断企业遏制了后起的竞争者。由于，Google当年在制定这个协议时，特意留下了后门，即：协议中不只包括能否允许搜索引擎停止搜索的内容，还包括允许谁和不允许谁停止搜索内容。Google和百度在完成了垄断位置之后，就应用这些排挤性规则挡住了后来的进入者。
折叠编辑本段历史开展
折叠开展
Robots协议正是针对搜索引擎爬虫的这些弊端而设计的约束措施。
1994年，Robots协议由荷兰籍网络工程师
荷兰籍网络工程师Martijn KosteMartijn Koster初次提出，Martijn Koster也因而被誉为“Robots之父”。
2008年6月，Yahoo、Google和MSNLive Search共同经过非官方途径宣布采用该规范，各大搜索引擎公司开端对Robots协议停止商业研讨，各种公司规范的Robots协议开端产生。
关于网站来说，设置Robots协议主要有三个目的，首先是维护网站内部信息不被搜索引擎爬虫抓取；其次是引导爬虫不要抓取对用户没有价值的信息；最后是为了维护中小网站的流量均衡，防止爬虫快速抓取给网站效劳器带来过大压力。
但通常来说，用户在应用搜索引擎检索到内容网站时，对内容网站并不构成伤害，反而会为内容网站带来更多用户。绝大多数网站非但不会运用Robots协议制止搜索引擎抓取，反而希望本人的网站内容可以更快、更全面地被搜索引擎收录，并展示在搜索结果的前列，由此也催生出搜索引擎竞价排名、SEO（搜索结果优化）等商业形式。
折叠影响
在互联网开展早期，搜索引擎还没有为网站带来明显的商业价值，搜索引擎爬虫也没有遭到网站的普遍欢送，主要有如下缘由：
一、快速抓取招致网站过载，影响网站正常运转；
二、反复抓取相同的文件，抓取层级很深的虚拟树状目录，糜费效劳器资源；
三、抓取网站管理后台等内部敏感信息，或抓取暂时文件等对用户没有价值的信息；
四、抓取会对投票等CGI脚本形成负面影响，可能呈现虚假的投票结果。
Robots协议的误区：
Robots协议固然名为“协议”，但只是行业习用的说法，它并非真正意义上的协议，也不受任何机构维护。
“Robots之父”MartijnKoster对Robots协议的性质停止了如下论述：Robots协议是一个未经规范组织备案的非官方规范，它也不属于任何商业组织。本协议不受任何机构维护，一切现有和将来的机器人不一定运用本协议。Robots协议是Robot创作者们向互联网社区提供的用来维护互联网效劳器免受骚扰的一个通用工具。
早在1997年，MartijnKoster曾向IETF（互联网工程任务组）提交申请，试图把Robots协议作为该组织标准，但被IETF回绝。之后，国际电信联盟（ITU）、万维网联盟（W3C）的标准也同样回绝采用Robots协议。欧美电信专家担忧，由于Robots协议包含排挤性条款，搜索巨鳄可能会应用Robots协议的条款，迫使某些抢手网站与其签署排他性协议，从而将后起竞争者挡在门外，维护垄断。[1]
折叠编辑本段恪守协议事例
折叠搜索引擎
百度对robots.txt是有反响的，但比拟慢，在减少制止目录抓取的同时也减少了正常目录的抓取。缘由应该是入口减少了，正常目录收录需求后面再渐渐增加。
Google对robots.txt反响很到位，制止目录马上消逝了，局部正常目录收录马上上升了。/comment/目录收录也降落了，还是遭到了一些老目的减少的影响。
搜狗抓取呈现普遍增加的均势，局部制止目录收录降落了。
总结一下：Google似乎最懂站长的意义，百度等其它搜索引擎只是被动的受入口数量影响了。
折叠淘宝封杀
2008年9月8日，淘宝网宣布封杀百度爬虫，百度忍痛恪守爬虫协议。由于一旦毁坏协议，用户的隐私和利益就无法得到保证，搜索网站就谈不到人性关心。
折叠京东封杀
2011年10月25日，京东商城正式将一淘网的搜索爬虫屏蔽，以避免一淘网对其的内容抓取。
折叠编辑本段违背协议事例
折叠BE违规抓取eBay
在12年前，美国加州北部的联邦中央法院就在著名的eBayVS. Bidder's Edge案中（NO.C-99-21200RMW,2000 U.S Dist. LEXI 7282），援用robots协议对案件停止裁定。 Bidder's Edge（简称BE）成立于1997年，是特地提供拍卖信息的聚合网站。12年前，BE应用“蜘蛛”抓取来自eBay等各个大型拍卖网站的商品信息，放在本人的网站上供用户阅读，并取得可观的网站流量。
关于eBay来说，来自BE蜘蛛每天超越十万次的访问，给本人的效劳器带来了宏大的压力。而固然eBay早已设置了robots协议制止BE蜘蛛的抓取，但BE却忽视这个请求——缘由很简单，据预算，BE网站69%的拍卖信息都来自eBay, 假如中止抓取eBay内容，这意味着BE将损失至少三分之一的用户。
数次沟通交涉未果后，2000年2月，忍无可忍的eBay终于一纸诉状，将BE告上联邦法庭，请求制止BE的违规抓取行为。3个月后，受理此案的美国联邦法官Ronald M. Whyte在经过多方调查取证后做出裁定，认定BE侵权成立，制止了BE在未经eBay允许的状况下，经过任何自动查询程序、网络蜘蛛等设置抓取eBay的拍卖内容。
在当时的庭审中，双方争议的焦点主要集中在“网站能否有权设置robots协议屏蔽其他网站蜘蛛的抓取”。被告BE以为，eBay的网站内容属于网民自创，因而是公共资源，eBay无权设立robots协议停止限制。但是，法院对这一说辞却并不认同。在法官看来：“eBay 的网站内容属于私有财富，eBay有权经过robots协议对其停止限制。”违规抓取的行为无异于“关于动产的非法侵入”。
也正是出于这一判别，即便当年BE还只是搜索了eBay计算机系统里的一小局部数据，其违背robots协议的抓取行为，依然被判为进犯了eBay将他人扫除在其计算机系统以外的根本财富权。
作为美国历史上第一个维护互联网信息内容的法律裁定，eBay与BE的这起纠葛，成为网络侵权案的标志性案例，并在当时引发了美国互联网产业乃至社会的普遍讨论。SearchEngine Watch的知名专栏作家DannySullivan 曾特地在文章中指出，robots协议是标准搜索引擎爬虫行为的极少数商定之一，理应恪守，它不只仅让整个互联网的开放性变成可能，最终也让整个互联网用户受益。
