内容产业屡遭非法爬虫，法院认定构成不正当竞争———未经授权爬取公众号用户文章信息构成不正当竞争
发布日期：2021-10-30
来源：数字科技说
内容产业屡遭非法爬虫，法院认定构成不正当竞争
———未经授权爬取公众号用户文章信息构成不正当竞争
近年来，随着内容社区的兴起，个体用户创作的渠道越来越多，内容也越来越丰富，网红经济亦随之崛起。信息资讯、短视频、电商、社交领域等平台网站通过投入资源服务用户，吸引用户发布了大量信息内容。平台网站提供服务同时获得用户授权对内容数据进行运营使用。
由于内容数据商业价值高，部分爬虫未遵循平台网站robots协议和技术措施，绕开突破相关技术限制访问网站并获取相应数据。此类爬虫行为本质上是未经授权访问的行为，对内容产业的发展造成较大影响。如何在法律上评价网络爬虫对网站未经授权访问行为及其对内容产业的影响？近日，杭州互联网法院关于爬取微信公众号内容数据的判决给出了相应答案。
案情简介：
两原告系微信公众平台的经营者和管理者，被告某新媒体公司系某网站经营者，利用爬虫技术抓取微信公众平台文章等信息内容数据，并通过网站对外提供公众号信息搜索、导航及排行等数据服务。原告诉称，被告利用被控侵权产品，突破微信公众平台的技术措施进行数据抓取，并进行商业化利用，妨碍平台正常运行，构成不正当竞争。被告辩称，爬取并提供公众号数据服务的行为不构成不正当竞争，其爬取的文章并非腾讯公司的数据，而是微信公众号的用户数据，且其网站获利较少。
判决结果：
经审理，本院判决被告某新媒体公司立即停止被控数据抓取行为，消除影响，并赔偿损失60万元。
裁判要点：
一、竞争性权益如何界定及被告行为的不正当性
1.原告对涉案数据是否享有竞争性权益
第一，微信公众平台通过经营活动吸引用户积累数据，并利用数据获得商业利益与竞争优势，因此相关数据对原告而言具有商业价值。第二，原告处理数据之行为具有合法性，均已获得微信用户授权同意，且未非法利用其他平台中的数据。第三，相关文章数据具有可集成、可交互的特点，与阅读数、点赞数、文章评论等其他数据共同构成整体数据资源，故原告就整体数据资源享有竞争性利益。
2.被告行为的不正当性
涉案被控行为包括三类：一是使用技术手段绕过微信客户端，操控多个微信账号使用“拟人程序”爬虫工具进行数据爬取；二是被告网站将网络请求操作分发不同云服务器，获取“用户登录”权限后抓取数据；三是使用自动化脚本不间断抓取数据，通过多个代理IP操作，绕过封号、封IP等防护措施，日均访问量达70余万次。
首先，被告行为突破IP访问限制和封禁措施，破坏微信产品登陆访问服务运行，原告只能投入更多成本与其对抗，或采取更加严格的限制措施。其次，被告实时抓取大量数据的行为，“极致了”网站爬取网络请求量级、请求频率和请求技术手段并非是正常用户能够产生，会对“微信 公众平台”的服务器造成远超正常用户访问的负担。再次，被告网站更改了公众号展示规则并以爬取请求干扰了公众号阅读数评价机制，妨碍其产品机制。
前述行为已经妨碍、 破坏了两原告合法提供的网络产品与服务的正常运行，违反《反不正当竞争法》第十二条。此外，通过被告提供的服务，用户无需登录、订阅即可搜索公众号文章、查看阅读数、点赞数等内容，能够实质性替代原告平台提供的部分数据内容及搜索服务，构成对微信公众号部分数据内容服务的实质性替代，构成不正当竞争。
二、被告未经授权访问行为对竞争秩序的影响评价
1.判决认定“被告抓取公众号文章等信息的行为不利于长期市场效能的提升，其短期内或许可以满足极为少数群体的需求，但如果对爬取行为及类似行为不予规制，将会损害创作者的创作环境，使得社会整体内容生产萎靡，消费者对优质内容的需求也就无从保障。”
2.判决认定了Robots协议实质体现了平台网站意愿，是行业有效的行为规范和公认商业道德，爬虫若不遵守则违反了诚实信用原则。
robots协议诞生至今，有过“尊重网站自主意愿”和“促进信息流动”两种定位，近期有观点将robots协议定位为“促进信息流动”，此判决在针对内容产业信息爬取问题上，回归robots协议较为中性的定位。
3.判决从竞争者自由竞争利益角度评价认为，任由第三方爬虫工具爬取平台信息会打击平台创造积极性、扭曲大数据要素市场竞争机制；从消费者利益角度评价认为，未经授权爬取信息展示未能尊重信息发布主体的意愿；从公共利益角度评价认为，被告爬取信息后未深度挖掘、创新，也无更深层次的应用，未能提升社会整体公共利益，加之爬取数据来源并非正常，难谓正当。
