数据抓取行为的规制在我国理论界与实务界已有较多研究和实例。而与之相对应的行为,即robots协议中对数据抓取的限制行为在反不正当竞争法范围下的规制却缺乏相关研究。因为对该行为并未在《反不正当竞争法》中被具体规定,因此在判断其是否属于不正当竞争行为时也应当从《反不正当竞争法》第二条出发进行分析。但这一条款作为一般条款,本身具有一定的模糊性,容易出现同案不同判的现象,因此有必要对适用该条款的判断路径重新梳理。本文以微博与今日头条robots协议不正当竞争案为起点,着重分析《反不正当竞争法》第二条商业道德层面评价标准和行为效果层面评价标准,以期使该条款在判断robots协议相关不正当竞争行为时能得到有效、准确地适用。在商业道德评价层面,首先概括司法实践中两种常用的商业道德具体化认定的方法,并总结其适用范围与局限性。之后,根据商业道德与《反不正当竞争法》的特性总结出适用商业道德进行评价需要遵循的原则。一是商业道德在认定前必须经过检验,包括不能违反诚实信用原则和不能不利于市场竞争秩序;二是适用商业道德进行评价时应遵循审慎的司法态度,避免过度主观化评价和不当干预市场竞争。在行为效果评价层面,首先应明确《反不正当竞争法》对竞争行为作用效果进行评价时主要考察其对如下的三重利益的影响:经营者利益、消费者利益和市场竞争秩序。在实践中上述三种利益常存在冲突,在明确竞争观的前提下,应当以比例原则为分析框架,从妥当性、必要性和相称性三个层次进行考察。若竞争行为不符合上述三个层次的要求,则可以判断其在行为效果上对上述三种利益造成的损害大于增益。在对robots协议限制行为进行分析时,还要格外注意robots协议的技术效力和法律性质,并综合考虑其所针对的数据抓取行为的积极效果和消极效果。