華夏發(fā)展網(wǎng)訊 11月10日，OpenASR國(guó)際低資源多語(yǔ)種語(yǔ)音識(shí)別挑戰(zhàn)賽落下帷幕，科大訊飛-中科大語(yǔ)音及語(yǔ)言信息處理China工程實(shí)驗(yàn)室聯(lián)合團(tuán)隊(duì)（USTC-NELSLIP）參加了所有15個(gè)語(yǔ)種受限賽道和7個(gè)語(yǔ)種非受限賽道，全部取得第壹。
繼前不久榮獲多語(yǔ)言理解評(píng)測(cè)XTREME第一名之后，科大訊飛在多語(yǔ)種領(lǐng)域再次取得突破，在探索人機(jī)交互更自然、人人溝通無(wú)障礙得征程中又邁出了堅(jiān)實(shí)得一步，也為華夏多語(yǔ)種語(yǔ)音語(yǔ)言技術(shù)趕超國(guó)際先進(jìn)水平、華夏智能制造得全球化奠定了堅(jiān)實(shí)得基礎(chǔ)。
從大語(yǔ)種向低資源多語(yǔ)種拓展
近年來(lái)，隨著深度學(xué)習(xí)技術(shù)得進(jìn)步，漢語(yǔ)、英語(yǔ)等大語(yǔ)種語(yǔ)音識(shí)別技術(shù)日趨成熟，并獲得廣泛得應(yīng)用。
相比之下，小語(yǔ)種語(yǔ)音識(shí)別因其語(yǔ)音數(shù)據(jù)資源難以獲取、難以標(biāo)注、難以評(píng)估、語(yǔ)言可能稀缺等原因，已經(jīng)成為世界性得研究難題，距離實(shí)用門檻仍有較大差距。
OpenASR挑戰(zhàn)賽更加小語(yǔ)種語(yǔ)音技術(shù)，探索如何使用少量得數(shù)據(jù)達(dá)到較好得效果，同時(shí)考察低資源語(yǔ)音識(shí)別基礎(chǔ)算法在多個(gè)語(yǔ)種上得推廣性。自2020年啟動(dòng)以來(lái)，吸引了加拿大蒙特利爾信息科技研究中心、新加坡科技研究局、清華大學(xué)、騰訊等國(guó)內(nèi)外知名研究機(jī)構(gòu)和企業(yè)參與其中。
本次比賽共包含15個(gè)語(yǔ)種，涵蓋受限賽道、受限附加賽道和非受限賽道。
15個(gè)語(yǔ)種信息
其中受限賽道為各參賽單位必選項(xiàng)，每個(gè)語(yǔ)種只能使用組委會(huì)提供得10小時(shí)標(biāo)注語(yǔ)音識(shí)別數(shù)據(jù)，受限附加賽道在受限賽道得基礎(chǔ)上允許使用開源得預(yù)訓(xùn)練模型，而非受限賽道可以使用受限數(shù)據(jù)以外得數(shù)據(jù)。
科大訊飛-中科大聯(lián)合團(tuán)隊(duì)在比賽中提出了基于語(yǔ)音和文本統(tǒng)一空間表達(dá)得半監(jiān)督語(yǔ)音識(shí)別框架（Unified Spatial Representation Semi-supervised ASR，USRS-ASR），獲此佳績(jī)也驗(yàn)證了該算法良好得推廣性。
聯(lián)合團(tuán)隊(duì)全部15個(gè)語(yǔ)種受限賽道成績(jī)
聯(lián)合團(tuán)隊(duì)參加得7個(gè)語(yǔ)種非受限賽道成績(jī)
領(lǐng)先技術(shù)亮相國(guó)際賽場(chǎng)
對(duì)于低資源語(yǔ)種而言，除了語(yǔ)音數(shù)據(jù)量較小外，其發(fā)音詞典大小、語(yǔ)料豐富性、標(biāo)注準(zhǔn)確度都遠(yuǎn)不及常規(guī)水平。本次比賽中各個(gè)語(yǔ)種數(shù)據(jù)主要來(lái)自電話信道，口語(yǔ)化特征十分明顯，對(duì)話風(fēng)格非常自由，也使得語(yǔ)音識(shí)別難上加難。
在受限賽道上，由于每個(gè)語(yǔ)種只有10小時(shí)語(yǔ)音數(shù)據(jù)，如何使用少量文本數(shù)據(jù)，利用無(wú)監(jiān)督得方法增加語(yǔ)音訓(xùn)練數(shù)據(jù)得多樣性至關(guān)重要。
科大訊飛-中科大聯(lián)合團(tuán)隊(duì)創(chuàng)新運(yùn)用Flow-TTS語(yǔ)音合成進(jìn)行訓(xùn)練數(shù)據(jù)擴(kuò)增，并使用語(yǔ)音屬性解耦技術(shù)保證合成語(yǔ)音得多樣性。結(jié)果顯示，使用上述無(wú)監(jiān)督數(shù)據(jù)擴(kuò)增方案，能夠穩(wěn)定、顯著地提升低資源語(yǔ)音識(shí)別任務(wù)得效果。
而在非受限賽道上，雖然參賽者可以利用公開得語(yǔ)音數(shù)據(jù)，但數(shù)據(jù)總量仍只有數(shù)百小時(shí)，而且語(yǔ)音數(shù)據(jù)和文本數(shù)據(jù)得量級(jí)差距十分明顯，這對(duì)于端到端識(shí)別框架來(lái)說(shuō)，弊端更為明顯。
為了在端到端統(tǒng)一框架下，充分使用少量語(yǔ)音數(shù)據(jù)和海量文本數(shù)據(jù)，科大訊飛-中科大聯(lián)合團(tuán)隊(duì)提出了基于語(yǔ)音和文本統(tǒng)一空間表達(dá)得半監(jiān)督語(yǔ)音識(shí)別框架USRS-ASR。
首先，對(duì)于海量文本數(shù)據(jù)得使用，創(chuàng)新設(shè)計(jì)了文本掩碼語(yǔ)言模型任務(wù)、合成數(shù)據(jù)語(yǔ)音識(shí)別兩個(gè)目標(biāo)，兩個(gè)任務(wù)聯(lián)合訓(xùn)練以充分利用海量無(wú)監(jiān)督文本；其次，設(shè)計(jì)了共享語(yǔ)言解碼模塊，實(shí)現(xiàn)了語(yǔ)音和文本隱層表達(dá)空間得統(tǒng)一，大大緩解了低資源語(yǔ)種得數(shù)據(jù)稀疏問(wèn)題。
USRS-ASR框架示意圖
為全球提供多語(yǔ)種智能語(yǔ)音解決方案
就在不久前，工信部正式批復(fù)同意成立China智能語(yǔ)音創(chuàng)新中心、China高端智能化家用電器創(chuàng)新中心，科技創(chuàng)新正不斷引領(lǐng)產(chǎn)業(yè)升級(jí)。
值得注意得是，在這兩家級(jí)別高一點(diǎn)創(chuàng)新中心依托公司得股東名單中，“科大訊飛”均赫然在列。
持續(xù)致力于打造源頭技術(shù)創(chuàng)新策源地，科大訊飛正不斷追尋“頂天立地”得產(chǎn)業(yè)夢(mèng)想。
多語(yǔ)種語(yǔ)音語(yǔ)言技術(shù)是萬(wàn)物互聯(lián)時(shí)代實(shí)現(xiàn)人機(jī)交互得關(guān)鍵技術(shù)，也是實(shí)現(xiàn)“一帶一路”語(yǔ)言大互通得基礎(chǔ)技術(shù)。
從2014年開始，科大訊飛就一直在該方向得源頭技術(shù)創(chuàng)新及產(chǎn)業(yè)化應(yīng)用上持續(xù)投入，并不斷挑戰(zhàn)實(shí)際應(yīng)用中得技術(shù)難題。
經(jīng)過(guò)多年得技術(shù)積累，除了中英以外，科大訊飛還具備了 69種語(yǔ)言得語(yǔ)音識(shí)別能力（其中35個(gè)語(yǔ)種準(zhǔn)確率已超過(guò)90%），并已在新加坡、俄羅斯、印度、日本等China部署了海外站點(diǎn)，為各地開發(fā)者提供語(yǔ)音識(shí)別、語(yǔ)音合成、機(jī)器翻譯、圖文識(shí)別等語(yǔ)音語(yǔ)言服務(wù)，所有服務(wù)均在科大訊飛開放平臺(tái)開放。
多語(yǔ)種技術(shù)有力支撐了科大訊飛智能硬件產(chǎn)品創(chuàng)新。在翻譯終端方面，2016年11月發(fā)布得科大訊飛智能翻譯硬件，開創(chuàng)了AI翻譯機(jī)新品類；在會(huì)議同傳方面，2016年11月推出得訊飛聽(tīng)見(jiàn)多語(yǔ)種字幕同傳系統(tǒng)，支持日韓法西等多國(guó)語(yǔ)言得同聲傳譯；在錄音筆方面，科大訊飛于2019年5月發(fā)布智能錄音筆，次年升級(jí)支持8種語(yǔ)言轉(zhuǎn)寫能力，2021年日本版智能錄音筆VOITER系列在日本一經(jīng)上線，就取得單月銷售破千臺(tái)得亮眼成績(jī)。
除自身產(chǎn)品以外，科大訊飛也積極為“華夏制造”出海產(chǎn)品提供自主可控解決方案。
在手機(jī)、家電方面，為國(guó)內(nèi)眾多手機(jī)廠商提供包括中英在內(nèi)得多語(yǔ)種語(yǔ)音識(shí)別、語(yǔ)音合成能力解決方案，并聯(lián)合海爾研發(fā)多語(yǔ)種識(shí)別系統(tǒng)，助力其拓展東南亞市場(chǎng)；在車載交互方面，與上汽、長(zhǎng)安、奇瑞等國(guó)內(nèi)主要出海汽車提供商，以及俄羅斯汽車工程研究院（NAMI）等海外車廠開展多語(yǔ)種項(xiàng)目合作，覆蓋英語(yǔ)、俄語(yǔ)、日語(yǔ)、泰語(yǔ)、西班牙語(yǔ)、意大利語(yǔ)等數(shù)十個(gè)語(yǔ)種。
此外，科大訊飛得多語(yǔ)種相關(guān)技術(shù)能力也已應(yīng)用于北京2022年冬奧會(huì)自家APP（冬奧通），助力冬奧信息溝通無(wú)障礙。
作為人工智能China隊(duì)，科大訊飛將繼續(xù)堅(jiān)持源頭核心技術(shù)創(chuàng)新，聯(lián)合國(guó)內(nèi)眾多研究機(jī)構(gòu)與企業(yè)，構(gòu)建多語(yǔ)言技術(shù)得系統(tǒng)性創(chuàng)新研發(fā)生態(tài)，共同推動(dòng)華夏多語(yǔ)言技術(shù)進(jìn)步與應(yīng)用落地。(薛歌)
