为了维系企业核心竞争力，这样写robots协议，既能保住企业的市场竞争地位，也不构成不正当竞争。大帅公司表示，双方作为自愿加入《互联网搜索引擎服务自律公约》的互联网从业单位，应当自觉遵从开放、平等、协作、分享的互联网精神，设置robots协议应遵循公平、开放和促进信息自由流动的原则，不得随意限制搜索引擎抓取数据，不得利用robots协议进行不正当竞争行为。
作者：吴菊萍上海市人民检察院第二分院第三检察部副主任、三级高级检察官，法学博士，上海市第九届优秀公诉人，入选全国检察机关网络犯罪检察人才库、上海市治理电信网络诈骗犯罪专家人才库，上海检察机关网络犯罪专业化办案团队召集人，国家检察官学院上海分院兼职教师，华东政法大学兼职硕士生导师。
本文通过评析针对性设置爬虫协议引发的不正当竞争纠纷案，从具体内涵、发展演变、法律适用和利益平衡四个维度，对与爬虫协议相关的行业惯例作为商业道德评判经营者行为正当性进行分析讨论，明确行业惯例会随着行业发展区分应用场景，通过考察行为效果、权衡多方利益、维护经营自主权等方面认定被诉行为的性质，认为在非搜索引擎应用场景下，应当对经营者所设置的限制他人抓取的爬虫协议给予更多容忍。
网络爬虫行为目前已进入刑法视野，而爬虫技术的不当使用也会损害到公民的权利。这里说的中立，是相对于所有使用者而言的，因为爬虫本身在技术上就必然会侵犯互联网信息中有关版权的部分，所以网络社会上达成了一个共识，就是robots协议，这个协议可指示爬虫程序，目标网站是否允许进行信息的抓取行为，结合自动化处理，就可以正确地进行信息的获取，而不损害到其他人的权利。
上海市海华永泰律师事务所律师、同济大学多元解纷法治研究中心研究员田玮申万宏源证券有限公司高级业务经理要目一、问题的提出二、企业数据权益保护的规制路径三、企业间数据权益保护在竞争法保护模式下的建构结论在数字经济时代，数据已成为企业的重要资产，与此相关的法律问题也愈加受到广泛关注。
21世纪经济报道 记者郑雪 北京报道新一轮人工智能的快速发展，离不开数据、算力和算法，其中海量数据更是人工智能应用持续“涌现”的重要基础。与此同时，随着信息技术的进一步发展，数据已成为当前企业竞争中最重要的一环，然而企业间数据爬取纠纷不断。
目前，我国现行的法律法规并没有对爬虫行为作出明确定义，2012年中国互联网协会曾于出台的《互联网搜索引擎服务自律公约》中将其简单定义为“自动爬行网络的程序”，而在国家互联网信息办公室于2019年5月出台的《数据安全管理办法》中，首次对爬虫行为进行明确规制，即“网络运营者采取自动化手段访问收集网站数据，不得妨碍网站正常运行;此类行为严重影响网站运行，如自动化访问收集流量超过网站日均流量三分之一，网站要求停止自动化访问收集时，应当停止”。
