你或許沒有發現，全球網際網路剛剛跨越了一道神奇的里程碑，那就是由機器人與自動化工具所產生的網路流量，已經超越了真實人類。
根據內容傳遞網路（CDN）巨頭 Cloudflare 的最新統計，由自動化工具所產生的網路請求量，已然達到全球網路總流量的 57%，這種現象令 Cloudflare 不得不做出應對，並且推出全新服務 Precursor，強化網站識別人類與機器人的能力。
全面監測瀏覽行為，強化判斷指標
為了防止自動化機器人塞爆流量，或者對品牌內容造成負面影響，通常大多數網站都設有防禦機制；然而，傳統的防禦方式就像請保全在門口站崗，透過如驗證碼（CAPTCHA）等手段，僅僅檢查一次訪問者的身分證件，判斷是否該放行人類，或者主動擋下機器人。
隨著當代的自動化工具變得足夠先進，一次性驗證早已十分容易偽造，因此 Cloudflare 研發了 Precursor，希望可以有效填補這項漏洞。
Cloudflare 指出，Precursor 主要於瀏覽器當中運作，並且會在使用者瀏覽網站的完整過程中，不斷監測包括滑鼠移動、捲動節奏、打字頻率、剪貼簿使用情況，以及頁面顯示的時間長短等，構成更加全面的判斷指標。
換句話說，自動化工具想要在瀏覽網站時，偽造近似人類行為的單次點擊很容易，可是想要模仿一次完整的真人瀏覽過程，本質上是極大的技術挑戰。
打破從「登入」到「離開」的黑箱
Cloudflare 技術長 Dane Knecht 表示，傳統的機器人檢查流程，只會專注於某個特定時刻，但現代的自動化工具已經懂得偽裝身分，直接從網站「大門」走進來；此外，使用者從「登入」到完成動作並「離開」網站的過程，以往就是個無法被檢測的黑箱，Precursor 的設計就是為了填補這方面的空白。
全面監測使用者的網站瀏覽行為，聽起來多少令人感到害怕，但 Cloudflare 強調，Precursor 將以隱私角度出發，只記錄使用者瀏覽網站的行為模式，而非實質上的內容。
舉例來說，Precursor 會將使用者的打字過程，透過節奏或韻律的形式記錄下來，絕對不會錄下實際的按鍵操作，同時網站管理者只需在後台點擊一下開關，即可直接啟用 Precursor 服務，無需修改任何程式碼。
區分「良性」與「惡意」機器人
另一方面，Cloudflare 之所以研發 Precursor，亦是想區分「良性機器人」與「惡意機器人」，因為並非所有自動化工具都對網站帶有敵意。目前 Cloudflare 將 AI 與自動化流量分成三大類：
- 第一類是「搜尋機器人」，它們會對網頁進行索引，方便日後回應使用者的提問；
- 第二類為「代理機器人」，它們會代表使用者採取即時行動；
- 第三類則是「訓練機器人」，它們會直接抓取網站內容，並且整合到自身模型當中。
自 9 月 15 日開始，所有仰賴 Cloudflare 代理技術的新網站，只要含有廣告內容，將會預設封鎖「代理機器人」與「訓練機器人」，並只允許「搜尋機器人」通過。
Cloudflare 表示，放行「搜尋機器人」的關鍵理由在於收益，因為這類自動化工具，通常會將內容閱讀者導回網站本身，但另外兩種機器人卻不會。不久之前，Cloudflare 亦正式要求各大 AI 爬蟲，必須主動向內容發行商付費，否則將會進一步遭到封鎖。
日前 Cloudflare 更推出另一項新功能，讓網站管理者能夠設定，機器人可以如何重複使用網站內容，比方說不得儲存任何資料、只能進行索引並提供導向連結，或者允許摘要且直接轉載；目前 Cloudflare 亦透過新建置的 BotBase 資料庫，列出所有已知的爬蟲程式。
失去 Cloudflare 信任，等於失去 20% 網站
放眼更長遠的未來，Cloudflare 希望 AI 營運商，可以借助現有的網頁標頭功能，主動宣告爬蟲身分，如此一來，網站便能決定哪些機器人可以存取網站，比方 OpenAI，而且即使經過多層中介，其規則仍然有效。
考慮到 Cloudflare 的影響力，該公司自信主張，若 AI 營運商喪失了他們的信任，那就相當於失去全球 20% 的網域存取權，這將構成一種極具威懾力的懲罰措施。
想要促進網路架構底層改革的單位，並非只有 Cloudflare，網際網路工程任務組（IETF）近日也發布被稱為 QUERY 的全新 HTTP 方法，將複雜的請求操作獨立出來，同步強化安全性並提供快取能力，期待減少自動化工具的流量偽裝。
QUERY 標準由 Cloudflare 與另一家 CDN 巨頭 Akamai 的工程師共同起草，在在反映出網際網路的基本架構，原先是為了人類的點擊而構建，而如今卻悄悄發生改革，適應多數訪問者變成自動化機器人的全新局面。
【推薦閱讀】
◆ 同時服務人類與 AI 的網站才能生存，WordPress VIP 技術長解析品牌下一步
◆ 【AI 時代的曝光成效衡量】14 倍長期價值遭財報低估，CMO 需打破「最後點擊」盲點找回獲利
◆ AI 帶來的顧客更會買：Adobe 數據揭新流量入口正在成形
＊本文開放合作夥伴轉載，參考資料：The Next Web、The Register，首圖來源：Nano Banana 2
（責任編輯：鄒家彥）
