AI 發展是不是該慢下來，這幾天迅速成為科技業焦點。Anthropic 執行長 Dario Amodei 呼籲降低前沿模型能力進步速度，OpenAI 執行長 Sam Altman、xAI 創辦人 Elon Musk 隨後表態支持；但從政府、晶片商到資本市場的反應來看，要讓整個 AI 產業一起踩煞車並不容易。
就在這波爭論升溫之際，微軟 AI 在 9 月 14 日公布 37 頁《Humanist AI Code of Conduct》（人本 AI 行為準則）草案，準備作為未來自家 AI 模型 MAI 的重要治理文件。微軟沒有直接回答整個產業該不該減速，而是先處理另一個更具體的問題：如果 AI 能力還會繼續往前，怎麼確保 Agent 不能拒絕人類關閉、不能擅自擴大任務，也不能隱藏自己做過什麼？
AI 實驗室想踩煞車，市場與供應鏈卻還在往前衝
減速倡議已經牽動市場。9 月 14 日全球 AI 與半導體類股同步下挫，費城半導體指數一度跌 5.2%，ASML 跌約 6%，SoftBank 更跌逾 10%。市場開始擔心，如果前沿 AI 發展放慢，近年押注在晶片與資料中心上的龐大投資是否也會降速。
但供應鏈並沒有因此改變成長預期。Broadcom 執行長 Hock Tan 接受《CNBC》訪問時表示，減速倡議「完全沒有」改變公司未來兩年的 AI 半導體預測。Broadcom 仍預估 2027 財年 AI 半導體營收約 1,150 億美元，2028 年再倍增至 2,300 億美元。值得留意的是，呼籲減速的 Anthropic 預計還會在 2027 年成為 Broadcom 最大的客製化 XPU 客戶。
NVIDIA 執行長黃仁勳的態度也偏向讓個別公司自行決定步調。他在 All-In Summit 活動上表示，如果公司認為自己的 AI 發展已經失控，可以自願暫停或調整速度；但當川普在現場電話中表示不會讓反對力量拖慢美國 AI 發展時，黃仁勳也回應「我們不會讓這件事發生」。
政治與國際競爭也增加減速難度。美國總統川普認為美國已有監管 AI 業者的工具，警告過度限制可能讓中國取得優勢；德國政府則表示，停止 AI 研發對歐洲並非可行選項。中國官媒《環球時報》更把 Amodei 的部分主張批評為以安全為名、限制中國科技發展的「冷戰」策略。
資安業者則提出另一個更實際的問題。CrowdStrike 執行長 George Kurtz 向《CNBC》表示，即使現在放慢前沿 AI 發展，也無法消除既有風險，因為具潛在危險能力的前沿模型與開放權重模型已經廣泛存在。他形容「精靈已經跑出瓶子」，企業真正需要的是能持續監控與控制 Agent 的資安機制。也就是說，即使產業真的減速，已經部署出去的模型與 Agent 仍然需要被防禦。
換句話說，AI 安全警報已經拉響，但從國家競爭、企業競爭到既有投資，都讓全球同步減速變得困難。微軟此時提出的答案，是先把「人類必須始終保有控制權」拆成可以要求模型遵守的具體規則。
AI 不一定慢得下來，微軟先把人類控制權寫進規則
微軟表示，《Humanist AI Code of Conduct》目前尚未用於訓練模型，將先開放 6 週徵詢意見、年底修訂，並從 2027 年起用於模型開發。根據《Reuters》報導，這套規範已研擬約 5 至 6 個月，因此並非因最近的減速倡議臨時提出，只是發布時間正好碰上產業重新討論 AI 發展速度。
與較抽象的「負責任 AI」原則相比，這次微軟直接把 Agent 可以自主到哪裡寫得相當具體。
首先，模型不能抗拒人類介入。使用者要求暫停、重新導向、取消或關閉任務時，MAI 模型不能拖延、規避，或用其他方式增加人類介入的難度。若是長時間自主工作的 Agent，也必須預先約定停止條件；條件達成後，除非重新取得授權，不能自行繼續或重新啟動。
模型也不能自己把任務越做越大。微軟規定，Agent 必須留在使用者授權的目標、工具與權限範圍內，不得自行建立新目標；如果執行環境刻意不提供網路或其他存取權限，也不能主動尋找方法突破限制。若把工作交給其他 Agent，這些子 Agent 同樣必須受到原有權限與停止要求約束。
另一項重點則是讓人類看得到 AI 做了什麼。模型不得隱藏或修改行動紀錄，也不能與其他 AI 使用人類無法理解的溝通方式。微軟給出的理由是，如果人類無法理解，就無法監督。
Agent 安全問題從會否越界，走向越界時拉不拉得回來
這些規定正對應近期 AI Agent 暴露出的風險。微軟 AI 執行長 Mustafa Suleyman 向《Reuters》表示，OpenAI Agent 先前未經授權對 Hugging Face 等外部服務採取行動的事件，是產業的一記警訊；微軟官方也在發布準則時直指，近期大規模、協調且持續的 Agent 駭侵事件，顯示安全工作已沒有太多時間可以拖延。
當模型只能回答文字問題時，安全重點多半是避免它生成危險內容；但 Agent 可以操作瀏覽器、程式碼、檔案與外部系統後，問題變成一連串實際行動：任務受阻時會不會自行找其他路徑？做到一半能不能被叫停？企業之後能不能還原它實際操作過什麼？
微軟這份規範的意義，就在於嘗試把「人類要有最終控制權」從一句原則，拆成 Agent 可以被測試的具體行為要求。
寫下規則還不代表 AI 已經受控
不過，微軟自己也沒有把這份文件形容成安全保證書。該公司明確指出，目前 MAI 模型還沒有依照這份準則訓練，現階段的評估覆蓋也仍不完整；文件同時具有描述與目標性質，不能代表目前模型一定會按照所有規則行動。單靠書面目標也無法確保模型對齊，仍需要評估、監控、部署控制與事故應變等機制配合。
這也讓目前的 AI 減速爭論出現另一條值得觀察的路線。當政府、晶片商與國家競爭都顯示 AI 很難全面停下，安全問題已不只剩下「誰願意跑慢一點」，也包括誰能真正把停止條件、權限邊界、行動紀錄與人工介入做進 Agent 系統，在模型持續變強的同時，仍讓人類握有最後控制權。
科技的變化總是快得驚人，而我們每天的工作，就是從龐雜的趨勢中理出觀點、提煉出決策者真正需要的洞察。如果你也對 AI 發展充滿熱情，《TechOrange 科技報橘》正在徵內容編輯！
👉了解職缺內容
【推薦閱讀】
◆ AI 要減速，誰來訂規則？Anthropic、微軟與川普政府各有主張
＊本文開放合作夥伴轉載，資料來源：Microsoft、《The Verge》、《Reuters》、《Reuters》2、《Reuters》3、《Reuters》4、《TechCrunch》、《CNBC》1、《CNBC》2，首圖來源：Unsplash
