来自Cloudflare的一个划时代的转折：互联网基础设施巨头阻止主要的crawler AI以保护在线内容。这个决定重新定义了创作者、科技公司和消费者之间的平衡，承诺将彻底改变网络上数据的管理和保护。
Summary
对抗AI爬虫：Cloudflare的决定
Cloudflare 已经在七月一日发起了一场针对主要人工智能公司的攻势，这些公司未经授权从网站收集数据。正如该公司所声明的，AI crawlers将在所有采用Cloudflare的新网站上默认被阻止，除非网站所有者给予明确授权。而在过去，网站管理员需要主动排除AI bot收集他们的数据。
这种逻辑的逆转保护了超过20% 的网络，即Cloudflare客户所覆盖的份额，并响应了由于来自大型AI名称的bot（如OpenAI的GPTBot和Anthropic的ClaudeBot）自动请求的异常流量导致的延迟和服务中断的日益增加的报告。
AI爬虫的影响：现象的数据
由AI crawling bots生成的流量已经达到了惊人的水平。例如，GoogleBot发现Vercel，云托管服务，每月收到超过45亿次请求。与普通的搜索引擎爬虫不同，AI bot对服务器采取了更具攻击性的方式，在短短几小时内多次访问相同页面，或以每秒数百次请求的方式轰炸网站。
结果？网站速度变慢，真实用户访问困难，以及一种被“无规则且无补偿”内容“提取”的普遍感觉。从美联社到康泰纳仕再到Ziff Davis，众多出版商和公司都谴责了大科技公司AI未经授权的大规模收集行为。
保护内容的新规则和技术
Cloudflare 的举措不仅仅是表面的禁止。事实上，该公司宣布使用机器学习和行为分析来发现所谓的“shadow scrapers”，这些是试图绕过常规阻止的伪装 bot。通过这种方式，不仅声明的爬虫，甚至更复杂的抓取尝试也将被拦截。
此外，AI 供应商现在必须在访问数据之前请求许可，并明确说明使用目的，无论是用于算法训练还是简单的搜索功能。Cloudflare 这样做是为了让发布者能够决定谁可以与他们的信息进行交互。
主要出版集团的抗议促进了这一新政策的诞生。当前的排除系统，如传统的robots.txt，往往被AI机器人忽视，它们倾向于在不遵循数字知识产权保护规则的情况下“挖掘”网络。
按次抓取付费：迈向内容的新经济模式
Cloudflare签署的革命还引入了另一项新功能：Pay Per Crawl计划。该系统目前处于私人测试阶段，将允许出版商为希望使用其内容进行AI训练的人设定访问价格。只有在支付后才会被授权访问，否则将被拒绝。
从技术角度来看，Cloudflare 将使用代码 HTTP 402 “Payment Required”，返回给未授权的爬虫。这是一个潜在有效的解决方案，由于其与现有网络系统的兼容性，已准备好实施。
来自AI世界的反应和监管难题
Cloudflare的决定直接影响到AI公司，这些公司迄今为止一直不愿意支付许可费或补偿。Nicholas Thompson，The Atlantic的CEO，强调到目前为止，这些公司可以不受惩罚地行动，而现在他们将不得不协商并承认内容的所有权。另一方面，一些科技界的领导者，如Meta的Nick Clegg，警告说，引入严格的限制可能会危及AI领域的增长和创新。
辩论也扩展到了规范层面。版权局的一份报告承认，某些使用生成技术的方式可以是“变革性的”。然而，未经同意的大规模收集不能被视为合理使用。这一立场产生了严重的机构影响，包括特朗普政府立即更换了知识产权办公室负责人。
在线内容保护的未来
Cloudflare 的倡议重新定义了内容创作者和利用者之间的平衡。阻止和货币化数据访问的能力为出版商提供了对其作品使用地点和方式的实际控制权。因此，许多 AI 公司将不得不重新组织数据获取策略和流程，推动与出版界的更大透明度和合作。
随着数字生态系统适应这一范式转变，其他大型基础设施行业参与者可能会效仿Cloudflare的做法。这样可以引发数字权利保护的新纪元，在这个时代，创造价值的人将受到激励和保护。关于Pay Per Crawl模型的采用时间和方式以及其对人工智能发展的影响，仍然存在疑问。
在不断变化的环境中，监测策略 anti-crawler AI的演变并积极参与讨论对于所有相关方来说变得至关重要。对未授权机器人的战争可能只是将网络作为集体和可持续资源的新季节的开始。
