IT之家 7 月 1 日消息，云端互聯(lián)網(wǎng)安全和性能優(yōu)化公司 Cloudflare 宣布了一系列新措施，爬蟲旨在幫助網(wǎng)站抵御 AI 爬蟲的云端無限制抓取，同時探索一種新的爬蟲商業(yè)模式，以保障互聯(lián)網(wǎng)內容創(chuàng)作者的云端利益。

據(jù)IT之家了解，爬蟲根據(jù) Cloudflare 的云端最新政策，每一個與該公司簽約以管理其網(wǎng)站流量的爬蟲新域名客戶將被詢問是否允許 AI 爬蟲訪問其網(wǎng)站，還是云端選擇完全屏蔽這些爬蟲此前，Cloudflare 已于 2024 年推出了一款免費工具，爬蟲用于阻止 AI 爬蟲，云端但此次更新后，爬蟲用戶無需手動調整設置即可默認屏蔽 AI 爬蟲。云端

目前，爬蟲包括康泰納仕（Condé Nast）、云端《時代》雜志（TIME）和美聯(lián)社（The Associated Press）在內的多家大型出版商已經(jīng)選擇屏蔽 AI 爬蟲Cloudflare 首席執(zhí)行官馬修?普林斯（Matthew Prince）指出，出版商正面臨一場“生存危機”，因為用戶不再點擊聊天機器人提供的原始鏈接。

如果用戶不訪問這些網(wǎng)站，網(wǎng)站就無法獲得維持運營所需的廣告收入普林斯在一份聲明中表示：“原創(chuàng)內容是互聯(lián)網(wǎng)成為過去一個世紀最偉大發(fā)明之一的關鍵，創(chuàng)作者必須繼續(xù)創(chuàng)作AI 爬蟲無限制地抓取內容，我們的目標是將權力重新交還給創(chuàng)作者，同時幫助 AI 公司繼續(xù)創(chuàng)新。

這關乎通過一種新的模式，保障一個自由且充滿活力的互聯(lián)網(wǎng)的未來”

此外，Cloudflare 還啟動了一項名為“按爬取付費”的私人測試項目，該項目允許網(wǎng)站所有者向 AI 爬蟲收取訪問內容的費用Cloudflare 解釋稱：“每次 AI 爬蟲請求內容時，它們要么通過請求頭展示支付意愿以獲得成功訪問（HTTP 200 響應代碼），要么收到一個 402 付款所需響應，其中包含定價信息。

”該公司將記錄這些交易并提供底層技術基礎設施出版商可以選擇允許某些爬蟲免費訪問其內容，同時也可以為其網(wǎng)站上的其他爬蟲設定統(tǒng)一的按請求收費價格Cloudflare 表示，“按爬取付費”目前仍處于早期階段，預計未來會不斷演變。

公司還支持開發(fā)其他市場平臺和收費方式，例如允許出版商根據(jù)內容類型設置動態(tài)定價