随着互联网的日益普及，Robots协议已然开始被很多人了解，网站通过Robots协议来禁止其他网站随意抓取自己的部分内容已经成为行业惯例。
但是在相关网络法律制定滞后的中国，当这样一种行业惯例遇上法律空白时，其引发的问题也就尤为值得深思。
我们为什么需要Robots协议
就如同我们常常看到的那个牌子 某某重地，闲人免进 ，现实世界中，我们早已形成了一种共识，公域开放，私域保护。在美国因为不熟悉当地法律，擅闯私人空间造成的悲剧更是一再发生。人们需要有公共空间进行信息的自由传递，同样也需要有私人空间来保护个人隐私。当然即便是公共空间中，也会有法律、道德这些予以约束。
Robots协议正是这样的共识在互联网世界的一种延伸。这一协议是由荷兰籍网络工程师Martijn Koster 于1994年首次提出的，作为国际互联网界通行的道德规范。网站可以通过robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。
虽然最初只是由一部分企业和个人发起，但无论是谷歌、微软、BAT这样的巨头，还是个人站长们基本上都是选择遵守Robots协议的。
谁也不希望自己的核心信息被爬虫轻易抓取，即便是自己不能确定是否会有用的信息。因为信息的价值就在于，于某人看似无用的信息，却又可能被他人利用，或者一段时间之后被利用，从而伤害到信息所属者的利益。在大数据时代中，Robots协议对于保护个人隐私的重要性更是不言而喻。
既然是惯例，那必然是长期以来大家约定俗成的事情，就如同等车排队一样。当所有人都在排队的时候，那大家可以高效率的完成上下车。但当突然出来一个人加塞到前面，而其他人又劝阻无效的情况下，惯例约束下的平衡就被打破了，这个队也就排不下去了。最终伤害的是大多数的人的利益，而受益者可能仅仅是那个加塞者。
尴尬就在于此，等车排队和Robots协议都只能算作惯例，而非法律，全靠自觉，没有任何强制力。人不要脸，天下无敌这样的道理可谓亘古不变。
这个时候是不是需要有一定的法律效力的文件或者判决对破坏惯例的人予以惩戒呢，我想应该是需要的，要不然这世界一定会是无赖横行，文明无从谈起。
我们怎么来尊重Robots协议
谈到法律，最近刚好有一起和Robots协议有关的案件，那就是百度诉360违反 Robots协议 抓取、复制其网站内容侵权一案，而最终的结果也刚刚宣判，百度胜诉，360被认定为违反《不正当竞争法》，赔偿70万败诉。这看似只是3B大战的未完待续版，但实际上这个案子对中国互联网网民来说意义重大。
因为360违反Robots协议的抓取，很可能带来的是用户隐私的泄露，爬虫甚至是侵入了一些公司的内网进行抓取，让诸如用户个人资料、邮件、订单等信息一下子陷入了 裸奔 状态。
或许360并非是有意通过抓取获得用户个人信息，但一方面，这样的事情与360一直以来所主打的安全背道而驰;另一方面，有了第一个违反惯例的加塞者，那么后面很可能会有第二第三个，从而破坏整个搜索引擎抓取秩序，危害到所有网民的信息安全。
要知道由于此前没有相关法律，Robots协议其实就已经有了一定的行业习惯法的雏形，这个时候，法院在法律层面给予一定的尊重和认可，我想这也是理所应当的。即便是在以成文法为最高准绳的中国，这样一个判例为以后维护互联网秩序还是给予了一定的正面引导，毕竟司法机关不是互联网专家，遵循以往判例的经验对他们做出正确判决有着积极作用。
或许于我们普通用户而言，最大的灾难就在于司法对惯例与道德的破坏了吧，当初的南京彭宇案，几乎一举击溃了中国几千年来的一些美德。不过好在，这一次司法选择了尊重互联网的惯例，也让后面那些希望浑水摸鱼的人们望而却步。
从更深远的角度来看，技术的发展带来的是个人隐私范围的日渐缩小，让那种鸡犬相闻、老死不相往来的高私密度社会成为过去式。但这并不意味着，保护个人、组织的隐私和私域变得不再重要。
互联网的开放绝不是一个万能的挡箭牌，任何一种自由一定是规则之下的自由，不受约束的自由与开放那只能是无序与时空，最终带来的也将是混乱。任何人也没有权力以维护大多数人的利益为理由和借口，去侵犯个人的隐私，对人的尊重无论是在现实世界，还是虚拟的网络世界之中，都应该是这个社会的根本原则。
这一次或许是对许多人的一种提醒，规则永远存在。
