AI 瘋狂爬網站不點擊廣告:Cloudflare 示警流量 5 年恐衝千倍,這筆帳誰來付?

AI 機器人正在快速改變網路流量結構,也可能迫使維繫網路數十年的廣告商業模式重新洗牌。Cloudflare 共同創辦人暨 CEO Matthew Prince 近日接受《The Verge》Decoder 專訪時表示,Cloudflare 今年 6 月觀察到,非人類流量已經占網路流量超過一半;若目前趨勢持續,未來 5 年自動化流量甚至可能達到人類流量的 1,000 倍。

《The Next Web》補充,Cloudflare 目前位居全球超過 20% 的網路流量前端,能直接觀察大量網站的流量變化。Matthew Prince 表示,這也是公司得以追蹤自動化流量快速增加的重要原因。

自動化流量超越人類流量:Cloudflare 指出 AI Agent 與爬蟲成新增流量主因

Matthew Prince 原本在 2025 年預測,AI Agent 等非人類流量要到 2027 年下半年才會超越人類流量,到了 2026 年 3 月又將時間點提前至 2027 年上半年,但幾個月後,Cloudflare 團隊便發現自動化流量實際上已經超過人類流量。他表示,即使自動化流量持續增加,人類流量本身不一定會下降,新增流量主要來自 AI Agent、爬蟲及其他自動化系統。

Matthew Prince 指出,傳統網路主要依賴廣告支付基礎設施成本,但 AI Bot 不會像人類一樣點擊廣告,也不會因品牌廣告產生互動。隨著自動化流量增加,頻寬、伺服器等基礎設施成本仍然存在,因此網路可能需要新的支付模式。

Cloudflare 正推動讓 AI 公司為內容存取付費。Matthew Prince 提到,未來可能採取微支付,例如 AI Agent 每讀取一次資訊,就向網站支付不到 1 美分;新聞媒體或學術機構等高價值內容,則可在基本費用之上收取額外費用。Cloudflare 正與 Coinbase、Stripe 等公司合作,探索連結內容提供者與 AI 公司的支付機制。

這項構想也與 HTTP 402「Payment Required」狀態碼有關。這種讓網站要求付款才能取得內容的機制早在網路發展初期便存在,如今 AI 大量讀取網站內容,可能讓它重新具有實際用途。在 Matthew Prince 看來,AI 時代真正稀缺的資源可能不再只是算力與晶片,而是高品質的新資訊。隨著內容創作者開始要求「人類可以免費看,但 Bot 要讀就必須付費」,資料可能逐漸成為 AI 產業的重要成本。

AI 授權收入將超越數位廣告?地方新聞與獨創內容重獲高價值

Matthew Prince 以自己與妻子在美國猶他州 Park City 擁有的地方報紙《Park Record》為例,今年該報從 AI 授權交易獲得的收入可能超過數位廣告收入。Matthew Prince 認為,地方新聞、獨家資訊與其他無法輕易複製的原創內容,在 AI 時代可能重新具有價值,因為 AI 公司需要的是模型尚未掌握的新知識,而非網路上大量重複的資訊。

這也可能改變媒體產業的內容生產方向。現有網路廣告模式鼓勵媒體大量生產內容、測試標題,以爭取使用者注意力;未來若內容主要供 AI 系統使用,地方新聞、獨特社群內容及其他缺乏替代品的新資訊,可能更具授權價值。Matthew Prince 也以 Reddit 為例,指出其大量獨特使用者內容難以被其他媒體直接取代。

AI 爬蟲與搜尋引擎的關係也正在改變。過去網站提供內容讓 Google 索引,以換取搜尋流量,但 AI 訓練或生成答案可能直接消耗網站內容,卻不一定把使用者帶回原網站。Matthew Prince 將這種情況稱為「Google Zero」。

Cloudflare 已決定自 9 月 15 日起,對免費客戶預設封鎖 Google 用於 AI 訓練的爬蟲;若 Google 無法區分 AI 訓練與搜尋爬取,Cloudflare 將進一步考慮全面封鎖。不過,網站管理者仍可自行關閉這項預設設定。Matthew Prince 也表示,Google 正朝提高爬蟲透明度、讓網站更能控制內容使用方式的方向調整,若 Google 願意遵守新的內容取得規則,也可能讓其他 AI 公司更容易接受相同模式。

Cloudflare 擴大招募建立產品人才,並以 AI 找出高績效員工

Matthew Prince 表示,除了網路商業模式,AI 也正在重塑 Cloudflare 自身的組織。Matthew Prince 透露,公司今年 5 月裁員約 1,100 人,約占員工總數 20%,目前員工約 4,500 至 5,000 人。多數被裁撤的職位涉及衡量與內部稽核等工作,而非工程、產品等建立產品的職位。

Cloudflare 在 2025 年中開始要求員工學習使用 AI 工具,之後發現 AI 特別擅長衡量、內部稽核與管理工作。Matthew Prince 舉例,一支約 20 人的投資人關係團隊過去需要約兩週製作財報相關文件,導入 AI 後,作業時間縮短至約 3 分鐘,文件錯誤也減少。

Matthew Prince 表示,AI 並不代表所有工作都會消失。工程師與產品經理使用 AI 後生產力提高,反而讓 Cloudflare 更有意願招聘這類建立產品人才;相較之下,部分重複性的衡量與管理職能受到較大影響。公司也利用 AI 分析工作資料,協助管理者找出過去可能被忽略的高績效員工。

Matthew Prince 認為,AI 時代需要重新思考的不只是誰能取得資料,也包括誰應該為創造知識的人付費。他以 Spotify 的音樂串流模式作為參考,認為未來 AI 公司支付的費用,可以分配給模型開發者、晶片供應商,以及提供訓練資料與新知識的內容創作者,建立新的資訊經濟。

科技的變化總是快得驚人,而我們每天的工作,就是從龐雜的趨勢中理出觀點、提煉出決策者真正需要的洞察。如果你也對 AI 發展充滿熱情,《TechOrange 科技報橘》正在徵內容編輯!
👉了解職缺內容

【推薦閱讀】

◆ Amazon 封鎖 Meta Muse、Shopify 卻主動接入:AI Agent 能不能進站,誰說了算?

◆ AI 到底有沒有推薦你的產品?Google 新工具讓品牌看見自己的「AI 聲量占比」

◆ 數萬家餐廳怎麼導入 AI?KFC 母公司從統一資料、微調小模型到算 ROI

*本文開放合作夥伴轉載,資料來源:《The Verge》、《The Next Web》,圖片來源:Cloudflare。