科技部辦比賽不想發獎金?賽前臨時新增超難門檻、題目雜音過大參賽者都暴怒啦

科技部指導、國家實驗研究院執行的 AI 中文語意分析競賽科技大擂台,在近期舉辦複賽,而主辦單位在最一開始開出獎金共 2500 萬,經歷了半年的初賽選出複賽和決賽隊伍,但最後卻又在上週五發出通告,要求隊伍要達到最低門檻才能領獎金,引發爭議。

https://www.facebook.com/FGCTW/posts/2228966857420007

在最初比賽條款公布時,主辦單位並無提到相關正確率門檻,但到複賽卻臨時加了最低門檻,且最低門檻的標準非常高,初賽正確率最高的隊伍僅 75%,但需要加入雜音、採用簡答題的複賽正確率門檻卻須高於 70%,決賽門檻更需正確率高於 80%,先不論正確率要求,題目雜音大到人類都聽不清楚、用選擇題的正確率來要求簡答題的正確率等狀況,更是引發選手強烈的不滿。

在此先附上本次競賽的說明影片:

針對爭議,科技大擂台粉專在週一發佈了新的公告,表示得獎門檻最初就有,且不會因為沒有團隊能達到就改變發放獎金條件,希望大家依然能努力參與競賽。

https://www.facebook.com/FGCTW/posts/2230716337245059

而相關說法也引起團隊參與者在下方留言,質疑主辦單位臨時新增條款和最初公告的競賽規則不同。

最終更釣出科技部長陳良基親自回覆,表示這場競賽的處理上有疏失,將會監督相關單位進行後續處理。

最終,科技大擂台於昨晚又發布新公告,宣布達成門檻才能領獎的設定不變,但增設特別獎,並加賽一場,題數從 4000 題降為 1000 題,積分延續計算,詳細加賽內容將後續再公告。

https://www.facebook.com/FGCTW/posts/2231803447136348

並公告了幾個目前國際語意辨識的重要數據。

1. 參賽團隊初賽答題率:6次線上競賽中,前5次競賽考題為相對低背景噪音考題(無人為外加噪音),最高正確率為75%。於第6次競賽加入人為背景音,答題正確率約為65%。

2. 現階段語音商品答題率:研究公司Loup Ventures於2018年以800句問句測試各大商業語音助理答題正確率,Google Assistant正確率為86%、Siri正確率79%、Alexa為61%,而Cortana為52.4%。

3. 國家華語文能力測驗通過率:本測驗專為母語非華語者研發的標準化語言能力測驗,並與國際語言標準接軌,將語言能力分成四等八級。與AI對話競賽期望能打造對談流利的AI演算法,競賽考題選定為「進階高階級測驗」,其聽力與閱讀測驗歷年平均通過率為72.53%。

綜上要點,經專家委員評估,共同制定獎金發放門檻。

據主辦單位公開的這些數據來看,目前決賽的門檻確實是過高的,引發參賽者質疑主辦單位根本沒有搞清楚狀況,更質疑主辦單位根本就不想發獎金。

後續主辦單位將怎麼處理才能挽救信譽?我們會持續關注。

國家單位鬧烏龍

【蠢到我笑了】花五萬幫海研船取名只多個「新」,可見科技部創新能力不包含取名

【我們政府這樣在犯蠢的】總統府資安週送隨身碟,藏有惡意病毒

參考資料

[FB] 科技部辦比賽不想發獎金?

[FB] 科技部辦比賽不想發獎金 part2

[臉書] 科技部辦比賽不想發獎金 part3

(本文提供合作夥伴轉載)