Search
Close this search box.

嬰兒語、Z 世代語都能翻!Lipdub 能把影片翻成 28 種語言,連嘴形都幫你調整好

不久後的將來,當我們點開社群平台、瀏覽上面的影片時,會發現每位創作者突然開始精通多種語言,同支影片可以看到創作者用中文、英文、日文等語言說話,連嘴唇動作也跟得上!

幕後功臣是快速發展的 AI 衍伸的自動翻譯與配音功能。

今年 6 月,YouTube 便宣布他們正測試一項 AI 工具,提供用戶將個人影片自動翻譯與配音成多種語言;幾個月後,他們再宣布目前正將此功能整合到 YouTube Studio 中,未來所有用戶都能輕鬆使用。

AI 自動翻譯與配音功能是不斷成長的趨勢,不只 YouTube,專注在影片編輯的新創也開始研發相關工具。像是 Captions 日前就推出全新應用程式 Lipdub,讓用戶將影片翻成 28 種語言,甚至還能選擇 Z 世代風格語言、海盜語、嬰兒語等

簡單兩步用 AI 把影片翻譯多國語言,吸引世界各地觀眾訂閱

Captions 的應用程式提供多項 AI 影片編輯功能,包括能自動去除「嗯」、「啊」等冗言贅字、降低背景噪音。官網顯示,目前已有超過 300 萬名創作者使用其影片編輯工具,並擁有超過 10 萬名日活躍用戶。

新應用程式 Lipdub 同樣使用 AI 技術,用戶上傳一分鐘以內的單人說話影片後,只要選定目標語言,就能連同說話語言與嘴唇動作一併調整,目前支援的語言包括法語、西班牙語、義大利語、葡萄牙語、日語等。

Lipdub 的功能不只有助創作者吸引來自不同國家的粉絲,還能為下廣告的品牌方帶來效益。Captions 以自己的廣告為例,當他們使用 Lipdub 將原本是英文的廣告影片翻成法語、印度語、西班牙語、義大利語與葡萄牙語 5 種語言,結果顯示這使他們的訂閱成本相較過去平均降低 54%。

掌握 AI 趨勢 & 活動資訊一點都不難!訂閱電子報,每週四一起《AI TOgether》

感謝訂閱!隨時注意信箱的最新資訊

AI 翻譯漸漸成趨勢,AI 影片編輯仍有成長空間

近幾個月有好幾間新創接連推出相似功能。像是 AI 語音生成平台 ElevenLabs 推出支援 29 種語言的配音工具、Meta Platforms 也推出能理解 100 種語言並即時翻譯的 SeamlessM4T。

不過可以確定的是,目前大部分的公司都著重在音頻的翻譯與配音,像 Captions 這樣能提供廣泛的影片編輯功能只佔少數。究竟 Lipdub 是否能擄獲用戶的心、成為社群媒體時代下的必備工具?

*本文開放合作夥伴轉載,資料來源:《TechCrunch》、Captions、《VentureBeat》,首圖來源:Captions

(責任編輯:黃俊誠)