Google、微軟、OpenAI、Anthropic 支援網站一次退出 AI 訓練,但只管訓練、不擋爬蟲

美國時間 10/30,Google、微軟與 OpenAI 先後宣布,將支援網站在 robots.txt(網站用來告訴爬蟲哪些頁面可以抓取的設定檔)中使用一組共用設定;據《法新社》報導,Anthropic 也表示已開始推行。過去網站要逐一辨識各家 AI 爬蟲、分別寫規則,往後只要寫一次,就能向多家參與的 AI 業者表達不希望內容被拿去訓練模型。不過,這組設定只管訓練、不擋爬蟲,也還不是正式標準。

四家業者此時出手,正值 AI 業者與新聞、出版業者的著作權訴訟持續進行之際。網站表態之後,究竟能保護多少?AI 業者未經授權拿他人著作訓練模型,在法律上又站不站得住腳?

robots.txt 寫兩行就能表態,草案為何強調它不是爬取指令?

這組設定出自 Anthropic 的 Kevin Kelley 提交到網際網路工程任務組(IETF)的個人草案,以 IETF 旗下 AI 偏好工作小組(AIPREF)的成果為基礎,核心是一個共用的政策標記(policy token)。網站寫上以下兩行,就表示整個網站不希望被用於 AI 訓練,也可以只針對特定路徑設定:

User-Agent: __usage_ai-training
Disallow: /

草案規定,「User-Agent: *」這類套用到所有爬蟲的萬用規則,不能解讀成符合這個標記;沒有這個標記,就等同沒有表達偏好。換言之,網站現有的萬用規則都不算表態,要另外寫上這個標記才算。

草案所說的 AI 訓練,是指用內容修改生成式 AI 模型的學習參數,並明言這個標記「並非針對爬取行為的指令」;《法新社》報導,微軟表示預設仍允許抓取內容,新設定也只適用於未來的模型訓練。草案還寫明,私下協議可以凌駕這項機制表達的偏好。

這份草案目前「未獲 IETF 背書」,在標準制定流程中不具正式地位;OpenAI 也稱這是一項「自願性措施」。

四家何時生效?會不會連帶失去 Gemini、Bing 的 AI 回答引用?

各家時程不一:微軟預計 2027 年 2 月 1 日起採用,Google 目標在 2027 年初支援,OpenAI 預計在「未來幾個月內」實作,Anthropic 則表示已開始推行;各家原有的爬蟲控制機制都繼續有效。

對經營網站的企業而言,差別在 Google 與微軟的解讀。Google 表示,網站用共用標記退出訓練、又沒有另外指定 Google-Extended(Google 自 2023 年起提供的 AI 訓練控制)時,會視同封鎖 Google-Extended,連帶無法透過 grounding(AI 生成回答時引用網頁內容作為依據)出現在 Gemini Apps 的回答中並獲得點擊。Google-Extended 則不影響網站在 Google 搜尋的收錄與排名。

微軟則把訓練與 grounding 拆開。Bing 首席產品經理 Krishna Madhavan 表示,「發布者不應被迫在『能否被 Bing 搜尋到』與『決定生成式模型如何使用其作品』之間做出取捨」。這組設定只管訓練,grounding 要另外在頁面層級設定;原本用 NoArchive、NoCache 限制 grounding 的網站,須在 2027 年 3 月 1 日前改用新設定。微軟也提醒,不讓內容用於 grounding,品牌在 AI 體驗中的能見度將會降低。

拿別人的著作訓練 AI 算合理使用嗎?美國法院至今見解分歧

共用設定處理的是如何表態,AI 業者拿著作訓練是否應取得授權,在法庭上仍有爭論。《紐約時報》2023 年底控告 OpenAI 與微軟未經授權、未付費使用數百萬篇文章,兩家則援引合理使用(fair use)抗辯,案件仍在審理中。

據《Nieman Lab》報導,出版商在訴訟中提出的文件解除遮蔽後,揭露兩家公司內部的看法:微軟應用科學總監 Brent Hecht 曾表示,世界各地數百萬人很快就會把大型模型大量吸收自己作品的做法,視為「一場規模空前、令人震驚的竊取」;OpenAI 的 ChatGPT 負責人 Nick Turley 則認為,這些 AI 工具「在很大程度上具有替代性」。微軟發言人回應,Hecht 的說法僅反映個人觀點,不代表公司立場。

退出設定涵蓋哪些用途,也有前例可參考。《Nieman Lab》引述《Bloomberg》報導,2025 年美國司法部對 Google 的反壟斷案中,Google DeepMind 副總裁 Eli Collins 作證承認,搜尋部門可以用出版商已選擇退出訓練的資料來訓練,「用於搜尋」;司法部在庭上出示的 Google 2024 年 8 月內部文件也顯示,Google 濾掉退出的內容後,1,600 億個 token(內容片段)中移除了 800 億個。Google-Extended 本來就不涵蓋搜尋業務,而 Google 這次也表示,會將共用標記比照 Google-Extended 處理。

美國法院陸續針對 AI 訓練是否構成合理使用作出判決,但由於各案涉及的訓練用途、著作取得方式及爭議不同,判決結果也不能一概而論。作家控告 Anthropic 的 Bartz 案,Alsup 法官 2025 年在判決中認為,用書籍訓練 Claude 具有極高的轉化性,屬於合理使用;但對於從盜版網站下載書籍的部分,Alsup 指出「建立永久的通用書庫,本身並不屬於能替盜版開脫的合理使用」。判決也說明,作者並未主張使用者看到的輸出侵權。Anthropic 後來就盜版部分以 15 億美元和解。

同一時期,Chhabria 法官在作家控告 Meta 的案件中判 Meta 勝訴,但強調判決「僅表明這些原告提出的論點有誤」;《Publishers Weekly》指出,他認為「市場稀釋」(market dilution),也就是 AI 大量產出與原作競爭的作品,可能是反對 AI 訓練最有力的論點。

9 月底,美國第三巡迴上訴法院維持 Thomson Reuters 告贏法律研究新創 Ross Intelligence 的判決,駁回 Ross 的合理使用抗辯。《路透社》指出,這是第一件由美國上訴法院審理的 AI 訓練著作權案;不過《Nieman Lab》也提醒,本案不涉及大型語言模型或其他生成式 AI 工具。

歐盟要求尊重「機器可讀」的保留,台灣仍靠法院個案認定

Google 在公告中表示,這次的共用 AI 訓練設定,符合歐盟《AI 法》下的通用 AI 模型(GPAI)業者實務守則,該守則認可 robots.txt 是網站表達機器可讀偏好的主要方法。要理解 robots.txt 和著作權的關係,得先從歐盟的「文字與資料探勘」(text and data mining,以下簡稱資料探勘)規定談起。

依歐盟 2019 年《數位單一市場著作權指令》的定義,資料探勘是指以自動化技術分析數位形式的文字與資料,從中產生模式、趨勢、相關性等資訊。由於分析前要先重製大量著作,指令為此訂有例外規定:只要是合法接觸的著作,就可以為資料探勘而重製,重製物只能保存到資料探勘所需的時間;但著作權人可以用機器可讀等適當方式,明示保留權利,也就是「退出」。2024 年的《AI 法》要求 AI 業者遵守這項退出機制,歐盟的通用 AI 模型實務守則也要求業者遵守 robots.txt,讓權利保留的聲明發揮效果。

問題在於,訓練生成式 AI 能不能適用這項例外而重製著作,仍有爭議。經濟部智慧財產局國際及法律事務室科長陳俞安 2026 年在《智慧財產權月刊》撰文指出,指令訂定時的資料探勘,主要目的是萃取知識、發現新趨勢,產出的資訊不涉及原著作的「表達」;生成式 AI 則會不斷調整模型參數,重組、模仿原始資料的風格與內容,甚至「記憶」原著作,生成內容可能重現原作,文中並以紐時控告 OpenAI 案為例,指 ChatGPT 的生成內容重現紐時原文片段。文中還提到,AI 訓練重製的著作通常會為了後續評估、調整模型而長期保存,利用範圍遠超出單純資料分析的必要限度。文中也引述歐洲議會 2025 年的研究報告指出,資料探勘的例外規定是為了資料分析與知識提取,難以涵蓋生成式 AI 訓練內化資料並重組內容的特性。

即使生成式 AI 訓練適用這項例外,退出機制本身也有執行問題。陳俞安指出,依歐盟規定,權利人明示退出時,AI 業者就須取得授權;但退出方式至今尚無統一標準,使得例外規定在實務運作上充滿不確定性,因此主張至少應建立標準化且機器可讀的退出機制,或設置可供創作者登記的資料庫,使 AI 開發商能透過自動化爬蟲辨識並排除已標示退出的著作,以增進透明度,同時降低權利人的負擔。

這個區別也出現在法院判決中。德國音樂著作權團體 GEMA 控告 OpenAI 一案,慕尼黑地方法院 2025 年一審判決 OpenAI 敗訴,判決尚未確定。東吳大學法學院兼任助理教授章忠信在《智慧財產權月刊》整理判決理由指出,法院認為模型記住歌詞屬於重製,不在資料探勘例外的範圍內,且著作單純在網路上發表,不等於默示同意被拿去訓練。《Euronews》報導,GEMA 總法律顧問 Kai Welp 稱判決是「邁向獲得合理報酬之路上的里程碑」,OpenAI 則表示判決「僅針對有限範圍的歌詞」,正在評估下一步。

台灣的《著作權法》則沒有資料探勘的例外規定。《報導者》指出,使用內容訓練 AI 是否侵權,要留待法院個案判斷,第 65 條合理使用同樣要個案認定,而最近一次修法早於 ChatGPT 問世。陳俞安則在文章結語建議,我國不宜將資料探勘的例外規定視為 AI 發展的唯一解方,仍應回歸「事前授權」原則,並協助創意產業推動集體授權機制。另據《工商時報》報導,智慧財產局生成式 AI 著作權指引 1.0 列出,訓練時可直接利用的只有不受保護的標的、著作財產權已過期的著作與公眾領域貢獻宣告(CC0)三類,其餘都建議取得授權,包括網路上的著作。

科技評論者 Paul Thurrott 認為,這項變革出現在各家「以前所未見的規模竊取內容」多年之後,「在很大程度上僅具象徵意義」;OpenAI 則稱這是邁向開放網路的「務實一步」。網站多了一個表態的工具,但 AI 訓練是否構成侵權、能否主張合理使用,仍有待各國法院與立法者釐清。

【推薦閱讀】

◆ Amazon 擋 Muse、Walmart 卻為 AI 代理「開窗」:可設定消費上限、卡號不交給代理

◆ 誰負責、能碰什麼、出事誰喊停?Gartner:僅 13% 組織自認 AI 代理治理到位

◆ Anthropic 送件上市、第二季首度營業獲利,長期算力合約與模型競爭仍是考驗

*本文開放合作夥伴轉載,資料來源:Google、Google 官方文件、OpenAI、Microsoft、IETF、《法新社》、《路透社》、《美聯社》、《Nieman Lab》1、《Nieman Lab》2、《Nieman Lab》3、美國加州北區聯邦地方法院(Bartz v. Anthropic 判決)、《Publishers Weekly》、《智慧財產權月刊》1、《智慧財產權月刊》2、《Euronews》、《報導者》、《工商時報》、《Thurrott》,首圖來源:Unsplash