“Robots协议”是互联网技术中的一个细分概念,是指互联网从业者之间的一个约定俗成的行业规范,根据该约定,网站所有人可以通过编程语言指导搜索引擎的抓取行为。而robots.txt文件是依据该约定,网站所有人所编写的对搜索引擎指引的内容文件。1两者既有区别,又密切联系。现有相关案例多发生在反不正当竞争法和著作权法领域。在反不正当竞争法意义上,两者分别视为是互联网行业规范以及对行业规范的具体实施。一个网站根据“Robots协议”设置了 robots.txt文件,其文件内容的合理与否,不应影响“Robots协议”作为行业规范的合法性;同时,“Robots协议”的合法性,也不代表具体的robots.txt文件一定合理。在著作权法意义上,“Robots协议”尽管给了网站所有者一定的权利,使其可以限制网站内容传播范围和对象,但如果具体的robots.txt文件设置合理,则不会损害到内容版权人的权益;而当网站未设置robots.txt文件时,可以视为对搜索引擎抓取行为的默示许可,但不代表对抓取后如何使用的行为的事先许可。对相关讨论,本文分别通过法理和案例加以分析和佐证,得出其受反不正当竞争法和著作权法保护的前提和界限,以尝试为相关司法应用及日后可能的立法提供参考。