多模態 AI 成為 2024 年的 AI 主角，不論是在產業或是市場的影響力都前景可期。多模態 AI 在科學與生醫研究面向上也扮演重要的角色，協助研究人員找到更精確有效率的方式來做腫瘤的辨識，甚至是協助太空遙測技術的判讀。
用多模態 AI 做精確癌症診斷
生醫研究的數位轉型與多模態 AI 的結合，正在為精準健康的加速發展創造全新機會。其中 AI 在推進數位病理學的研究上，已經成為重要的引擎。微軟在學術研究部落格上，就探討多模態 AI 如何逐步改變癌症診斷與研究的方式。
全玻片成像技術已成為癌症護理中的常規技術，能將腫瘤組織的顯微鏡載玻片轉換為高解析度的數位影像，這些影像包含了解讀腫瘤病理的關鍵訊息，這項資訊對於醫生提供精準免疫療法也至關重要。然而，數位病理學也面臨獨特的計算挑戰，傳統玻片視覺變換器難以應付如此高精度的影像處理，這樣的落差也可能導致醫師判讀上忽略了影像圖塊之間的相互關聯性。
微軟研究團隊提出了 Prov-GigaPath 模型，通過大規模預訓練和全幻燈片建模，成功克服了這些挑戰。在數位病理學基準測試中，該模型在 26 項任務中的 25 項上實現了最先進的性能，並在 18 項相關任務上顯著超越第二名的模型，也為癌症診斷和預後治療等精準健康的應用帶來了極大希望。
快速判讀大量地球觀測資料
多模態 AI 針對巨量資料的分析整理強大能力，也為地球科學研究帶來新的推力。透過從太空監測的遙感技術，可以從遠距離觀測地球表面。隨著遙感技術的不斷進步，多模態 AI 協助科學家能夠透過圖像、文字、聲音、社群媒體資料和影片等多種資訊，來全面理解地球及多樣化環境。
地球觀測技術涵蓋了針對地表、地下、空氣和水質，以及人類、植物和動物福祉的全面測量。遙感技術作為一種關鍵的非接觸式方法，能夠從太空中提取有關地球物理特性及其環境系統的關鍵資訊。然而，隨著來自不同觀測平台的遙感資料數量和複雜度性持續增長，也帶來了一系列的資料判讀挑戰。特別是，如何有效處理與分析這些海量的多模態遙感大數據，成為了亟需解決的問題。
多模態 AI 可以協助科學家強化資料擷取與精準分析資料的能力，充分利用觀測資料的潛在價值，以即早發現異常變異。同時也可以協助科學家在處理大規模的觀測資料上，降低資料處理成本並快速整合不同性質的資料，並且提升遙感大數據的資料洞見，提升地球觀測的研究效率與精確度。
多模態 AI 的強大分析與數據整理能力，協助科學家與研究人員能在海量資料中成功找到洞察資歷的方向，並且快速拓展研究的視野，對於科研領域來講成為關鍵的研究工具。
繼續閱讀《人機協作再進化！多模態 AI 來了》Highlight 其他內容：
多模態 AI 是什麼？探索它如何突破生成式 AI 實現多感官協作
Google 力求轉型、蘋果變身 AI 飆股，全都因為多模態 AI
＊本文開放合作夥伴轉載，資料來源：《Microsoft》、《The Innovation》。首圖來源：freepik。
