滥用Robots协议无效 法院判决支持互联网精神

8月7日，360与百度的Robots协议案在北京市第一中级人民法院宣判，最终法院选择了支持互联网的开放、平等、协作、分享精神，认定滥用Robots协议无效，这意味着360以后仍可以抓取百度贴吧、知道、文库、百科等用户生产的内容。而根据用户协议，这些内容的版权属于用户。

Robots协议的提出者荷兰工程师Martijn Koster在定义时就已明确：Robots协议是一个未经标准组织备案的非官方标准，它也不属于任何商业组织。本协议不受任何机构保护，所有现有和未来的机器人不一定使用本协议。但长期以来，百度始终把它当成一个竞争攻略，为自己设置一个竞争壁垒，作为阻碍竞争的工具，这从根本上违背了Robots协议提出者的初衷。

业界普遍认为，Robots是一把双刃剑，适用会优化搜索结果，而滥用则会造成整个行业的混乱。专家认为，滥用Robots协议，会让网民和整个行业面临三大威胁。

危害一：网民获得不完整的搜索结果

滥用Robots协议，首先受到影响的并不是企业，而是网民。如果搜索巨头禁止其他新兴搜索引擎抓取自身内容，那么当网民尝试新的搜索引擎时，就无法获得完整的搜索结果，只能被迫选择搜索巨头的产品，这违背了用户本意，增加了网民的时间成本，而且与互联网产品开放的初衷相违背。

另一方面，由于搜索巨头通过滥用Robots实现对内容的控制，进而控制网民，搜索巨头可以利用这种控制力操纵搜索结果，甚至引导舆论。有评论人表示，“搜索巨头可为所欲为任意操纵搜索结果，对竞争对手进行道德谴责、而一般的舆论批评对巨头无效，只有竞争打破垄断才会让消费者和行业获益”

专家认为，搜索市场的主导地位，控制互联网优质内容，不让其他搜索引擎抓取，进行不公平竞争的垄断行为。既违背了Robots协议的初衷，也违背了互联网开放、分享的精神。

危害二：限制市场自由公平竞争 造成行业壁垒

事实上，国际上从来没有任何组织或专家把Robots协议当成规范，甚至主动拒绝。欧美电信专家认为，由于Robots协议包含排斥性条款，搜索巨头可能会利用Robots协议的条款，迫使某些热门网站与其签署排他性协议，从而将后起竞争者挡在门外，维护垄断。

此前，微软曾控诉Google收购YouTube后限制竞争对手对YouTube的正当抓取。而在国内，几乎相同的一幕也在上演。如果通过Robots协议去控制内容，那么将对其他新兴搜搜引擎构成致命威胁。

著名互联网评论人士方兴东就曾表示，Robots协议不宜过多强调和使用，更不能作为行业发展的大旗，否则将毁掉开放共享的互联网机制。

在他看来，Robots被滥用将成为不公平竞争的武器。如果国内前百家网站都限制一家搜索引擎，那么这家搜索将马上瘫痪。相反，如果一家搜索签下前1000网站的独家抓取协议，那么其他搜索引擎将永无出头之日，行业从此再也没有竞争。

危害三：阻碍甚至扼杀搜索行业创新

另外，在专家认为，如果把Robots生搬硬套为行业规范，必将成为搜索巨头阻击新搜索公司的竞争武器，限制搜索市场的自由竞争。

行业通常认为，美国的互联网商业竞争环境比中国要好，最近十年从零做到上市的美国互联网公司是中国的十倍。而其核心原因就是，美国整体环境鼓励创新，而且巨头通常对创业者十分友善；而在中国，巨头大多会利用各种资源打压创业公司，扼杀互联网创新，可谓大树之下，寸草不生。

利用Robots协议限制其他搜索引擎抓取正属于此列，创业公司或选择通过不断的产品创新弥补这一劣势，或者选择随波逐流。现在看来，360搜索是唯一能够对巨头形成威胁的搜索产品。

有专家认为，随着360搜索的份额提升，以及腾讯入股搜狗可能对搜索格局带来的影响，互联网市场尤其是搜索行业的竞争活力被激活，能够促进创新，让网民受益。而对于Robots协议，不能生搬硬套，更不应成为搜索巨头滥用市场支配地位，阻击新公司入局的不正当竞争工具。