馬斯克和特朗普，這對白宮二人轉最近「嘴炮大戰」進入到 2.0 時期。和這對歡喜冤家類似的，是國外出版商集團和 AI 巨頭之間的相愛相殺——一方面有大出版商要和 AI 公司合作，另一方面也有出版商誓死要把 AI 巨頭告破產。
根據資料，AI 搜尋和 ChatGPT 出現後，全球網站流量都在下降；另一方面，AI 巨頭的「AI 爬蟲」卻不顧爬蟲協議，以數萬次的爬取不斷侵蝕所有網站的資料。
這時候，終於有一家基建公司站了出來，挽著內容創作者的手說：「我們可以對 AI 巨頭說不！」
Cloudflare，這家掌控全球約 20% 網路流量的網際網路基礎設施巨頭，被網民譽為「賽博菩薩」的公司，在 2025 年 7 月上線了一個實驗性產品和交易市場：「Pay Per Crawl」——給 AI 爬蟲立下了新規矩：
要麼獲得許可，要麼付費。
簡單來說，這個功能的本質是給網站內容創作者一個選項「開關」：可以選擇允許 AI 爬蟲自由訪問，按次爬取收費，抑或者直接封鎖訪問。
按照 Cloudflare 創始人的說法，「內容是驅動 AI 引擎的燃料，因此，內容創作者直接獲得報酬才是公平的。」
對 AI 公司來說，想繼續抓取全網內容來訓練模型，不能再像以前那樣「免費吃大餐」。但也不是沒有好處，因為根據明碼標價付費，可以避免版權爭議問題。
Cloudflare 這次的「防蟲」舉措，能緩解 AI 爬蟲的肆意攻擊嗎？更重要的是，這家公司能否利用自己獨特的地位，建立起一個全新的 AI 時代內容分發和變現模式？
01
AI巨頭的「免費午餐」
過去幾十年，大多數網頁預設是公開「可爬」的。谷歌、Bing 這類搜尋引擎為網站帶來流量，有了流量，網站再透過廣告或銷售訂閱變現——這是搜尋時代的隱形契約。
可 AI 時代，傳統搜尋流量驟降，這筆賬越算越虧。
AI 公司把全網內容當作訓練燃料，卻幾乎不用給大部分創作者回報。當用戶直接在 AI 聊天機器人裡提問，答案往往來源於總結好的內容，而不是數十個藍色連結，不會給網站帶來更多流量。
甚至於谷歌這樣的搜尋巨頭本身也在變化，以前他們提供網站連結列表，如今他們在搜尋頁面推出了「人工智慧概述」，據他們的報告，75% 的查詢使用者無需點選任何連結就得到了解答。
Cloudflare 2025 年 7 月的最新資料顯示：谷歌的爬蟲大約每 6 至 7 次抓取給網站帶回 1 次點選，而 OpenAI 則是 1500 次才換來 1 次跳轉，Anthropic 的比例甚至更誇張，高達 73300 次換 1 次。
各大公司 AI 爬蟲每次抓取為網站帶來的點選比例｜圖片來源： Cloudflare
這意味著，傳統的「內容換流量」模式失效了。相比傳統搜尋引擎，AI 巨頭們吃掉了海量網站內容，卻不給「導流」，這種失衡讓一些內容生產者愈發難以為繼。
「有了 OpenAI，網站流量獲取難度比谷歌時代高出 750 倍，而有了 Anthropic，難度更是高達 3 萬倍。原因很簡單：我們越來越不再消費原創內容，而是消費它們的衍生品。」Cloudflare CEO Matthew Prince 在一篇博文中稱，「這不是一個公平的交易」。
AI 公司爬資料也不是沒有代價的，這兩年 AI 巨頭一直被指控「偷內容」來訓練大模型，引發全球範圍的版權訴訟潮，尤其是紐約時報等新聞機構和 OpenAI 訴訟不斷。
活躍的大廠 AI 爬蟲機器人｜圖片來源： Cloudflare
因此，Cloudflare 推出「Pay Per Crawl」，建立一個「按次付費爬取」的市場，想要解決的正是這個問題。
該公司設計了一個許可權和支付系統，網站可以在後臺選擇對 AI 爬蟲「允許、封鎖或收費」，AI 爬蟲如果想抓取該網站內容，必須註冊、驗證身份，並在每次訪問時完成支付。
如果順利，這一模式能讓網路內容從「廣告變現」走向「內容授權變現」，開拓全新的收入來源。無論是大媒體，還是冷門小部落格，都能在 AI 時代擁有議價權，被 AI 付費使用。
為了強調其意義，Cloudflare CEO 還將「Pay Per Crawl」推出的這一天稱為：
「內容的獨立日」。
02
AI 「過路費」怎麼收？
當然，設想很美，但技術怎麼落地？
Cloudflare 這家公司起家靠的是提供 CDN、DDoS 防護、DNS、零信任安全等服務，它在全球 300 多個城市部署了節點，承載約 20% 的 Web 流量，給它當「中介」提供了方便。
「Pay Per Crawl」建立在它全球 CDN 網路的中間層：它能在訪問請求進到源站前就識別和處理 AI 爬蟲。站長可以在 Cloudflare 後臺設定三種模式：允許、收費、封鎖。
站長可以在後臺設定允許、收費或封鎖｜圖片來源： Cloudflare
所有新加入 Cloudflare 的網站預設封鎖 AI 爬蟲，除非站長主動允許。只有與 Cloudflare 建立合作關係的 AI 公司才能參與支付機制，否則將被封鎖。
如果 AI 爬蟲向付費 URL 發起請求，尚未付費，Cloudflare 就會返回 HTTP 402 Payment Required 狀態碼——一個過去幾乎沒人用的、專門為「網路支付」預留的狀態碼。AI 爬蟲可以在請求裡帶上支付資訊，以表示同意支付配置的價格，一旦匹配價格就放行返回 200 OK，並自動結算。
Cloudflare 本身則是這個交易的「收銀臺」，負責聚合賬單和分發收益。
Cloudflare 會返回 HTTP 402 Payment Required 狀態碼｜圖片來源：Cloudflare
爬蟲可以在請求裡帶上支付資訊｜圖片來源： Cloudflare
HTTP 200 OK 響應確認收費｜圖片來源： Cloudflare
更重要的是，這並不是靠簡單的 User-Agent 欺騙就能繞過的。Cloudflare 要求 AI 公司註冊金鑰，用數字簽名保證身份。這也是為了防止「山寨爬蟲」冒充合規者逃避支付。
過去，robots.txt 是一個放在網站根目錄下的純文字檔案，用來告訴搜尋引擎的爬蟲哪些頁面可以抓取，哪些不可以，但它只是網站的「禮貌建議」，很多 AI 爬蟲根本不理會。Cloudflare 的方案改變了這一點，把現有的、靠 robots.txt 的「軟約束」變成了「硬閘門」。
不過，據 Cloudflare 稱，目前排名前 10000 的域名中，只有約 37% 擁有 robots.txt 檔案。
給 AI 爬蟲設定關卡｜圖片來源： Cloudflare
如果要參與 Cloudflare 的爬取付費市場，爬取方、被爬取方都必須開設 Cloudflare 賬戶。截至目前，「Pay Per Crawl」仍處於內測階段，僅部分大型出版商參與，如 BuzzFeed、《大西洋月刊》和《財富》等，Cloudflare 還在持續公開徵集有意向的內容創作者和抓取者。
「我們預計按次付費模式將迎來顯著發展。」Cloudflare 官方稱。
雖然目前仍處於初期階段，但該公司對未來還有很多設想。比如，出版商或其他機構可以針對不同內容型別收取不同費用，或者根據 AI 應用的使用者數量進行動態定價，或者根據訓練、推理、搜尋等不同領域引入更細粒度的定價策略。
他們還認為，按次付費爬蟲的真正潛力或許會在 Agent 智慧代理的世界中顯現。
「如果智慧代理付費牆能夠完全以程式化的方式運作，會怎樣？想象一下，你可以請你的深度研究助手幫你整理最新的癌症研究、法律簡報，或者幫你找最好的餐廳——然後給這位智慧代理一筆預算，用於獲取最有用、最相關的內容。」
「以 HTTP 402 響應程式碼為基石的首個解決方案，將開啟一個智慧代理能夠以程式化方式協商訪問數字資源的未來。」Cloudflare 稱。
03
Internet 的十字路口
從經濟層面來說，這可能是 AI 和廣大內容創作者「重新談判分賬」的開端。
現在，只有頭部大媒體能和 AI 公司談授權（比如 紐約時報告了 OpenAI 後才談成和解），絕大多數中小網站、論壇甚至個人作者都被「默默爬走」，毫無反抗的能力，或者說意識。Cloudflare 的方案，實際上可以把這種議價能力普及到更廣泛的網站。
據 Cloudflare 團隊稱，他們與新聞機構、出版商和大型社交媒體平臺進行了數百次對話，他們一致「希望允許 AI 爬蟲訪問其內容，但希望獲得報酬。」
對於支持者來說，「Pay Per Crawl」模式在理念上很「公平」：創作者有了收入，AI 公司也避免了法律風險，長遠看能推動整個產業走向更合規的內容許可。
圖片來源： Cloudflare
當然，AI 公司未必開心，網際網路資料不再免費，要抓新內容，就得花錢，這意味著算力之外的成本要素。
但另一方面，這也或許會抑制濫抓取，也迫使 AI 模型開發者在資料上更有選擇性——比如針對性購買高價值的內容，而不是一股腦地把各種網站內容都喂進模型裡。
Matthew Prince 稱，「AI 引擎就像一塊瑞士乳酪，真正能夠填補這塊乳酪孔洞的全新原創內容，比如今佔據網路大部分版面的重複性、低價值內容更有價值。」
在他看來，流量一直以來都無法準確衡量內容的價值，「如果我們能夠開始對內容進行評分和評估，不是根據它產生了多少流量，而是根據它對知識的促程序度（以它填補了多少 AI 引擎「瑞士乳酪」中的現有孔洞來衡量）——我們不僅可以幫助 AI 引擎更快地進步，而且有可能促進高價值內容創作的新黃金時代。」
不過，數字權利倡導者可能會提出：小型 AI 創業團隊、研究者、開源社群，能否承擔這樣的資料成本？學術研究、公益存檔這些「良性爬蟲」會不會寸步難行，只能訪問有限、低價值的資料來源？
在一個廣告收益下滑、流量成本高漲的現實裡，會有多少網站願意無償開放給 AI 爬蟲吸血？這會不會成為「封閉化」的開始，讓網際網路失去它的自由與共享精神？
如果全網都預設封鎖收費，這會不會無意中加劇「大廠壟斷」？畢竟，大廠比較有錢。
「Pay Per Crawl」模式，一方面試圖解決 AI 吸血內容卻不反哺的問題，另一方面，也有可能在無意中加高 AI 創新的門檻，回到版權保護與知識開放的老命題。
當然，Cloudflare 只是給網站更多自主權。網站所有者完全可以選擇對公益、非營利專案繼續免費開放。權力仍然在創作者手裡。不管怎麼說，他們值得獲得「補償」。
在 Cloudflare CEO 的話裡，這場變革的目標是「構建更美好的網際網路」。「我們尚不知道所有答案，但我們正在與一些頂尖的經濟學家和計算機科學家合作尋找答案。」
目前，其他其他 CDN 和安全提供商（比如 Akamai、Fastly、Amazon CloudFront）尚未宣佈類似的功能。
把 AI 爬蟲機器人擋在門外｜圖片來源： Cloudflare
雖然 Cloudflare 的「Pay Per Crawl」看起來只是一個 CDN 產品的新功能，但從某種意義上說：
它可能成為網際網路走到一個分岔口的訊號。
在搜尋時代，內容的價值是透過使用者訪問轉化為廣告收益。但 AI 時代，使用者可能根本不會再點進網站——所有答案都在聊天機器人裡總結生成。是繼續讓 AI 大模型免費挖掘網路內容，還是在資料獲取上回歸「互惠」原則，讓創作者獲得應有的補償？補償又能有多少？
這個早期實驗可能在為一個新的 AI 時代資料經濟形態鋪路，無論成敗如何，它的立場很明顯：AI 不能無限透支創作者的耐心，並在「開放」的名義下把人的勞動變成免費的燃料。
「網路正在發生變革，它的商業模式也將隨之改變。在這個過程中，我們有機會從過去的 30 年裡學到好的地方，讓它在未來變得更好。」
至於，事情是不是能真的變好，像 Cloudflare 自己承認的那樣：
「這僅僅是個開始。」
熱點影片
更多閱讀