只要你曾經在網路平台,例如 YouTube、Netflix 等串流服務上看過影片,那麼有位工程師將值得你大大感謝,他的名字就叫做 Al Bovik。
過去數十年來,Al Bovik 全心投入數位影像處理領域,而其所發明的多種影像演算法,如今影響著近 80% 的網路與社群媒體內容,成功運用人類視覺的神經科學原理,讓串流影片呈現出盡可能清晰、自然的畫質。
Al Bovik 在視覺感知處理領域的成就,為他贏得了兩座艾美獎,一座是「黃金時段艾美獎工程獎」,另一座則是「科技與工程艾美獎」。
不僅如此,Al Bovik 也榮獲 IEEE 所頒發的愛迪生獎章,使他能夠與電話發明者貝爾、交流電系統始祖特斯拉,以及音效工程師杜比等人並列,成為工程領域的不凡人物。
關於數位影像處理的本質
根據 Al Bovik 任職的科羅拉多大學博爾德分校,近日所刊出的一份專訪,他表明「數位影像處理」的本質,就是利用電腦運算來處理視覺資訊,其亦涉及理論創造與演算法發明,藉此協助電視與電影的效率、畫質進一步提升。
回顧演算法的開發歷程,Al Bovik 指出,驅動他發起研究的關鍵因素,並不僅源於他想理解相機究竟是如何捕捉光線,更在於探究人類的大腦,將會如何解讀數位影像最終所呈現出來的資訊。
Al Bovik 說,科學家是否可以找到一種方式,完全利用數學模型,還原出人類的視覺機制,正是吸引他全心投入數位影像處理演算法相關研究,並希望獲得解決方案的最大難題。
一位極具「視覺感」的工程師
在專訪中 Al Bovik 提及,自己是個極具「視覺感」的人,每次旅行的第一站永遠都是先去藝術博物館;假如一週沒看電影,身心就會感到坐立難安。
因此,身為視覺型、空間型的思考者,Al Bovik 認為數位影像處理領域,恰好就處於數學與人類視角的交匯點,所以吸引他投身其中。
後來,Al Bovik 選修了圖像壓縮技術發明者之一黃煦濤教授的課程,一夜之間便徹底明白數位影像處理就是自己想做的事,從此便不再回頭。
當視覺處理被大腦刻意引導
談起人類視覺跟數位影像之間的關係,Al Bovik 解釋,人類的影像處理發生在腦部的多個區域,包括位於大腦後方的初級視覺皮層。
普遍而言,人類的「視覺」需要處理海量原始資訊,並將其壓縮成簡潔、高效的資訊特徵,讓大腦得以辨識高速公路上的汽車,或者追蹤飛翔中的鳥類。
因此 Al Bovik 認為,理論上科學家能夠建立一套模型,來重現人類對於視覺的處理方式,即透過數學建模來模擬大腦的視覺區域,探索「人類為何會看向特定方向」,或者「人類駕駛汽車時,視線會落在何處」等類似問題。
當情境延伸到影片觀看之類的行為,Al Bovik 說,其道理同樣沒有改變;當人類觀看影片中的各種場景時,視線會自然被引導至某些區域,換句話說,人類的視線與注意力,其實是由大腦的視覺機制在背後刻意引導。
緊接著,Al Bovik 運用前述邏輯發明出了演算法,透過數學模型模擬人類大腦對視覺失真的感知方式,藉此預測人類會如何評斷,各種數位圖片或影片的視覺品質,最終成為業界改進影像畫面呈現的指標評估方案。
結構相似度(SSIM)演算法
以業界現實面來說,由於多數影片的檔案容量龐大,若不刻意進行壓縮,實際上將無法進行串流播放,所以在大多數的情況下,視訊壓縮變成了必要行為。
此時,由 Al Bovik 所發明的「結構相似度(SSIM)」演算法,即讓大型串流平台與社群媒體服務,在影像品質與流量壓縮之間獲得了解套。
SSMI 演算法的誕生,讓科技公司能夠將影音內容壓縮至極限,直到視覺失真即將浮現之前的臨界點,舉凡 Netflix、Meta、YouTube 和亞馬遜等公司,目前無一不採用這項技術。
4K 影片可能不是真 4K
至於 SSIM 演算法的核心,Al Bovik 解釋,簡單來說就是「把人類的視覺感知數位化」。
Al Bovik 以使用者在 Netflix 上欣賞《怪奇物語》作為舉例,他表示當觀眾開始播放《怪奇物語》某個場景的瞬間,在 Netflix 的雲端伺服器上,大約就擁有至少 20 個不同壓縮程度的版本,等待被系統調用並推送給使用者。
其中,部分版本甚至經過了空間降取樣處理,例如 4K 影片可能包含以 2K 或更低解析度編碼的版本。
無論是透過手機或電視觀看 Netflix,使用者的裝置都會即時測量可用頻寬,而這項數值則會不斷變化,視覺感知演算法會從這 20 個版本中,適時請求最符合使用者當下網路環境的影像,並以場景為單位在背景不斷循環作業。
COMPUTEX 2026 現在進行中!最新報導都在【TO Highlight】直擊 COMPUTEX 2026 台北國際電腦展
畫質壓縮與流量佔用的權衡
換句話說,在 Al Bovik 發明的演算法巧手調控之下,當觀眾以為自己正在透過 4K 畫質欣賞影片時,若當下網路頻寬受限,那麼裝置實際上接收、播放的畫面,很可能是經過壓縮的 2K 版本,只是於裝置端利用採樣恢復 4K 畫質。
Al Bovik 直言,這就是影像處理演算法,在串流媒體業界最重要的用途;即便影像實際上遭到了壓縮,但由於演算法的巧妙評估,所以在視覺上觀眾根本確切無法分辨出任何差異。
除此之外,Al Bovik 所發明的另一項演算法,稱為「視覺資訊保真度(Visual Information Fidelity,VIF)」,可以預測人類在觀看到經過壓縮的影片後,大腦將如何感知其畫質水準。
VIF 演算法會告知 Netflix 的影片畫質系統,何時可能會出現顯而易見的失真現象,而目前 Netflix 影片串流服務,正是建立在這些神經科學原理之上。
對此 Al Bovik 形容,相較於雲端串流巨頭,當今的 Netflix 其實更像是一家視覺神經科學公司。
從無解問題到顛覆網路世界
提及 SSIM 演算法的誕生,Al Bovik 謙虛指出,整個過程出於偶然。
當時,Al Bovik 與學生正在研究影片壓縮相關技術,但卻遇到了一項根本性問題,那就是該如何評估影像壓縮成果的好壞?同時人類大腦究竟又是如何感知畫面品質?
Al Bovik 指出,在當時還沒有人真正解決前述問題,甚至大多數領域研究人員都認為,該問題基本上「無解」。
緊接著,Al Bovik 與學生共同打造出了 SSMI 演算法模型,並引來媒體產業的大力關注,尤其是正苦惱於該將影片壓縮到什麼程度,才不會讓觀眾覺得畫面變形,同時頻寬流量又極其重要的串流媒體企業。
Al Bovik 認為,SSIM 為業界提供了一種評估方法,讓企業能找到影像壓縮的臨界點,並向所有人傳遞在感知上經過壓縮的影片,讓畫質與流量得以兼顧。
如今,每張上傳至 Facebook、Instagram、WhatsApp 與 Reels 的照片,皆曾被一套專注於視覺神經科學的演算法執行過最佳化,相當於 Al Bovik 所大力投入研究、發明的科學原理,已經被應用在整個網路世界。
下一個挑戰:VR 與 AR 影像處理
就在創造出顛覆時代的數位影像技術後,Al Bovik 與 Meta 之間的合作,至今已接近 10 年,而雙方所攜手投入的領域,正是 Meta 非常看重的虛擬實境(VR)與擴增實境(AR)。
Al Bovik 指出,虛擬實境的影像處理技術,其實是個非常令人興奮的課題,挑戰在於如 VR 頭盔、AR 眼鏡之類的產品,其內建顯示螢幕距離眼睛僅僅一英吋,因此需要更高的解析度,如 8K、16K 等,這意味著透過 VR、AR 裝置所接收的影像,不只是需要壓縮,傳輸數據量也會大幅增加。
對此,目前 Al Bovik 提出的解決方案卻非常直接,並且被他稱作「虛擬化身模型」。
Al Bovik 認為,對於 3D 視訊通話這類應用,與其傳送即時串流的 3D 影像,不如先建立一組 3D 人像模型,然後儲存於通話者的 VR 頭盔、AR 眼鏡之中,再透過設備上的相機與影像處理技術,傳送配戴者臉部的動態變化資料,並於另一位通話者的設備上復原重現,大幅度減少傳輸頻寬佔用。
串流影音產業的幕後推手
另一方面,Al Bovik 提及目前網際網路佔全球碳排放量近 10%,而該比例仍然在高速增長。在這種情況下,Al Bovik 所發明的影像演算法,有助於將佔用網路流量達 80% 的影音資料傳輸作業,巨幅減少近 25%,成為削減碳足跡中相當可觀的一環,對生態環境做出實質貢獻。
雖然仍不及貝爾、特斯拉、杜比等工程師知名,但身為科羅拉多大學博爾德分校教授,但也積極深入影音產業,跟許多科技業界巨頭合作的 Al Bovik 表示,自己其實是以學生們所取得的成績為傲。
在 Al Bovik 的學生中,目前至少已經有 6 位,獲得過艾美獎相關殊榮,而他們不僅是程式設計師,也不單純是影音工程師,還是同時接受過視覺心理學家與神經科學家專業訓練,有能力替產業做出貢獻的全方位人才。
Al Bovik 舉例,目前 Netflix 的影音團隊,主要是由科羅拉多大學博爾德分校的「影像與影音工程實驗室(LIVE)」旗下學生所組成;Al Bovik 以大學教授的角度評論,當他看見人才走出實驗室,並且成為產業面貌的塑造者時,這就是他最為自豪、自傲的事情。
【推薦閱讀】
◆ 烏克蘭「戰場回饋循環」:串聯 AI、前線士兵與軍火商,讓軍用無人機持續高速進化
◆ AI 氛圍編碼解決網頁排版 30 年難題,Pretext 如何徹底改變下一代網頁設計方式?
◆ 短影音夾擊、營收下滑的豪賭:愛奇藝宣布 5 年內讓 AI 生成大部分影視內容

*本文開放合作夥伴轉載,參考資料:University of Colorado Boulder、Television Academy,首圖來源:Pixabay
(責任編輯:鄒家彥)



