現代電信網路由大量設備、軟體與相互依賴的系統組成，局部異常一旦未被及時發現，就可能造成服務中斷，影響大量用戶。像是澳洲電信龍頭 Telstra 近期發生的全國性網路事故，就凸顯這種單點失效的連鎖風險：這起事故起因於一台關鍵的時間同步伺服器，在進行維護重啟後，因軟體設定缺陷導致日期被誤設為 2006 年。在接下來的幾個小時內，錯誤日期導致其他伺服器中的驗證憑證失效，進而讓大批客戶陷入間歇性無法連上網路的窘境，嚴重影響當天高達 45% 的語音通話與數據傳輸服務。
後續的國會聽證會調查揭露，設備製造商早在前幾年就多次發出關鍵軟體的更新警告，但 Telstra 卻始終未執行。先前為了修復其他問題而對設備進行的設計變更，也未被妥善記錄，導致第一線維修人員重啟設備時，根本無法預見災難。
面對日益複雜的網路架構與難以防範的系統隱患，美國電信巨頭 AT&T 則選擇截然不同的預防道路。為了守護旗下高達 1 億 4,500 萬名無線用戶，以及 1,600 萬名寬頻用戶，AT&T 多年前便開始推動集中式事故管理系統，逐步引進傳統機器學習、生成式 AI 與智慧代理，目標是在客戶真正感覺到斷線之前，就提前在後台將問題排除。
AT&T 的實踐經驗，也展現如何將累積多年的海量網路數據轉化為高精度的預測能力，並讓 AI 深度參與根因分析、遠端修復與智慧派工，成為全球電信維運走向主動預防的關鍵指標。
先整合 10 PB 維運資料，AT&T 才讓 AI 看懂網路異常
AT&T 邁向預測式維運的第一步，不是引進最先進的 AI 模型，而是回歸最基礎的資料治理與跨部門溝通。為了更快速回應網路異常，AT&T 在 2017 年第一季啟動端到端事件管理系統（EEIM）計畫，並打破組織藩籬，組成橫跨資訊技術、資料科學與 AI 部門的跨功能團隊。
AT&T 數據與 AI 長 Andy Markus 強調，在計畫初期，團隊花費極大心力向第一線負責維修與監控流量的技術人員蒐集意見，以確保新開發的 AI 工具能直接融入既有的維運工作流程。
在資料基礎上，EEIM 系統必須重新整理並整合高達 10 PB 的維運資料，相當於約 5 兆頁的文字量。這些龐大且分散各處的數據，包含網路日誌、設備警報、歷史事故派工單，以及詳細的服務中斷紀錄。Andy Markus 指出，企業必須先把這些數據集中與重組，AI 才有辦法精確識別當前異常、預測未來的潛在故障，進而引導維運團隊採取最有效的防範行動。
為了解決如此龐大且持續膨脹的數據規模，AT&T 選擇與 MongoDB 合作，利用其具備高彈性的文件資料庫架構進行資料處理，確保系統加入新數據時，不需要重新設計底層架構，同時也搭配微軟 Azure 雲端平台、Databricks 資料分析工具與 Snowflake 事件回報平台，共同撐起這套複雜的運算架構。
從機器學習、生成式 AI 到 Agent，揭開 AT&T AI 維運的步步升級
在智慧維運的道路上，AT&T 經歷了一場八年的技術長跑。EEIM 系統在 2018 年首度上線時，最初以傳統機器學習技術應用於光纖寬頻服務，隔年才將範圍擴大至數位用戶線路（DSL）。在技術落地初期，AT&T 推出專為現場技師打造的 Atlas 應用程式，利用模型分析斷線的根本原因並推薦修復方案。隨後，AT&T 在 2021 年進一步透過系統建立主動通知機制，在發現斷線事故的第一時間自動告知客戶，成功化解大量用戶因不明原因中斷服務而產生的不滿。
隨著生成式 AI 在 2022 年併入 EEIM 系統，平台獲得比對歷史相似事件的能力，能夠從過去龐大的資料庫中，自動找出當前事故的可能根因。到了 2025 年，AT&T 更將具備互動能力的智慧代理（AI Agent）導入系統，使其能直接與客戶互動以蒐集故障細節、執行部分遠端修復，並在無法解決問題時，自動將所有診斷資料彙整給現場技師，大幅節省傳統派工過程中反覆確認資訊的時間。時至今日，AT&T 已部署超過 30 個專屬 AI 模型，用來預測硬體配置錯誤、極端氣候、系統故障等各種可能引發服務中斷的威脅。
AT&T 省下 310 萬次派工，Telstra 卻證明 AI 也救不了治理失靈
這套耗時多年打造的智慧系統，為 AT&T 帶來極為顯著的營運回報。統計資料顯示，智慧化的 EEIM 系統在過去一年內，成功為 AT&T 避免高達 310 萬次非必要的現場派工，並為客戶累計縮短超過 1,200 萬小時的停機時間。Andy Markus 指出，這證明預測式維運的價值不只在於省下可觀的派工成本，更在於能將第一線技術人員的寶貴精力，精準投入真正需要手動修復的關鍵硬體故障。
然而，相較於 AT&T 的亮眼成果，Telstra 最近面臨的嚴重斷線事故，則從反面印證：再先進的網路技術，都無法幫助一個「忽視基本維護與紀錄」的企業解決斷線隱患。在 Telstra 的事故中，雖然網路架構本身設有三台時間伺服器作為備援，但在墨爾本伺服器重啟並回報錯誤日期後，多重備援卻完全無法阻止災情擴散。
Telstra 在調查報告中坦言，這次的失效模式與硬體、備援級別或網路架構無關，核心問題在於「相互連接的系統普遍接受並傳播錯誤的時間資訊，而這些系統原本將時間視為信任與排序的基礎」。因此，這起事件說明，網路韌性不能只依靠堆疊硬體備援，還必須嚴格管理跨系統之間的相依性與資訊可信度。
更具警示意義的是，Telstra 先前忽視製造商兩度要求更新伺服器軟體的警告，也未將變更後的設備設計寫入維運文件，導致 AI 或任何自動化系統在面對這類「未被記錄的隱形地雷」時，同樣無能為力。這項對比深刻提醒所有企業，預測式 AI 的能力建立在完整、真實且持續更新的數據治理之上。如果企業連最基礎的軟體更新、變更紀錄與文件維護等「治理底線」都無法守住，再先進的 AI 維運模型也無能為力。
AT&T 的成功與 Telstra 的事故共同說明，AI 在關鍵基礎設施維運中的價值，在於深入偵測、分析、通知、修復與派工等端到端流程。AT&T 自 2017 年起，歷經機器學習、生成式 AI 到 AI Agent，證明電信級韌性必須靠長期累積，而非一次導入模型。對電信商、雲端服務商與大型企業而言，真正值得複製的，是整合孤島資料、保存事故經驗，並讓 AI 接入既有工作流程。在這樣的基礎上，即使複雜網路無法保證零斷線，企業仍可透過扎實的資料與系統治理，把維運從事後搶修轉向事前介入。
＊本文開放合作夥伴轉載，資料來源：《Business Insider》、《The Guardian》，首圖來源：Unsplash
