近日,騰訊云小微提出的多語言預(yù)訓(xùn)練模型“神農(nóng)MShenNonG”以平均分85分的成績登頂XTREME榜單。與此同時,該模型僅包含5億級別的小參數(shù)量,也一舉刷新業(yè)界記錄。

據(jù)了解,該榜單是目前最受國內(nèi)外行業(yè)公司認(rèn)可的多語言評測榜單,研究人員以多語言預(yù)訓(xùn)練模型在此榜單的表現(xiàn)作為其跨語言遷移能力的評價標(biāo)準(zhǔn)。

目前,全球有超過6900種語言,其中大多數(shù)語種都沒有足夠的數(shù)據(jù)支撐研究者將其單獨訓(xùn)練成成熟模型。騰訊云小微深耕知識挖掘、語義理解技術(shù)以及預(yù)訓(xùn)練技術(shù),“神農(nóng)MShenNonG”此次登頂XTREME榜單,代表了其從單語言到多語言理解能力的一個顯著擴展,將跨語言遷移開發(fā)由市場平均的月級降低至10天。同時,“神農(nóng)”系列的預(yù)訓(xùn)練模型已應(yīng)用于云小微全系列產(chǎn)品矩陣,可顯著提升AI語音助手、智能客服機器人、數(shù)智人等產(chǎn)品的多項技術(shù)指標(biāo),助力出海企業(yè)快速落地本地化服務(wù)。

刷新行業(yè)記錄,跨語言遷移開發(fā)周期縮短至10天

(資料圖片僅供參考)

憑借對自然語言應(yīng)用程序等領(lǐng)域發(fā)展研究的積極作用,XTREME榜單備受業(yè)界認(rèn)可。

由于大多數(shù)的NLP預(yù)訓(xùn)練模型主要為中文、英文等高資源語種,低資源小語種的研究并未得到足夠重視。2020年,來自 CMU、谷歌研究院和 DeepMind的科學(xué)家們提出了覆蓋四十種語言、橫跨了12個語系的大規(guī)模多語言多任務(wù)基準(zhǔn) XTREME,其中包含了9項需要不同句法或語義層面進行推理的任務(wù),并可以為語句文本分類、結(jié)構(gòu)預(yù)測、語句檢索和跨語言問答等自然語言處理任務(wù)提供有效支持。

此次登頂XTREME榜單,主要是由于“神農(nóng)MShenNonG”在以下三個不同維度做了創(chuàng)新性的嘗試。

首先,在數(shù)據(jù)層面,預(yù)訓(xùn)練模型的訓(xùn)練數(shù)據(jù)主要由兩種形式的數(shù)據(jù)構(gòu)成:單語種句子和雙語平行句對。此前的模型處理方法是,對于單語種句子,單純地將單語種信息輸入模型,并以MLM作為訓(xùn)練目標(biāo),非常依賴相似語系之間“共享詞”的預(yù)測來建模各語言間的語義對齊關(guān)系;對于平行句對,又依賴平行語料的規(guī)模和組合,模型對其對齊關(guān)系的建模存在一定缺陷。為緩解以上問題,騰訊云小微研究團隊提出了基于混合編碼的數(shù)據(jù)構(gòu)造方式,分別利用雙語對齊詞典和句子檢索工具,構(gòu)造大量的“多語言混合”訓(xùn)練數(shù)據(jù)。

其次,在模型層面,研究團隊提出了一種可插拔的、基于多尺度的多語言信息融合模塊,分別從詞級別和句子級別多個尺度融入多語言信息,期望在訓(xùn)練過程中,加強所有語種的詞向量的更新和對齊,解決多語言模型對低資源語種、低頻次詞匯建模較弱的問題。

第三,在訓(xùn)練方式上,研究團隊分別通過語種層面和語義層面引入對比學(xué)習(xí)策略,使得相同語義的表示相互拉近,不同語義的表示相互遠(yuǎn)離,進一步強化多語言預(yù)訓(xùn)練模型對于多語言的語義建模能力和語義匹配能力。

值得注意的是,研究團隊重視多尺度的多語言的一致性建模,以強化預(yù)訓(xùn)練模型的跨語言遷移能力,并將跨語言遷移開發(fā)由市場平均的月級降低至周級,同時,相較市場平均1個月以上的模型迭代周期,“神農(nóng)MShenNonG”僅需10天。

多次登頂權(quán)威榜單神農(nóng)以技術(shù)優(yōu)勢探索出海場景

“神農(nóng)MShenNonG”登頂XTREME榜單,依托于騰訊云小微團隊技術(shù)研發(fā)和行業(yè)知識的長期積累。此前,騰訊云小微的中文預(yù)訓(xùn)練模型ShenNonG就以十億級參數(shù)量一舉登頂CLUE總排行榜、1.1分類任務(wù)、閱讀理解任務(wù)和命名實體任務(wù)四個榜單,刷新行業(yè)記錄。

專注于語義理解技術(shù)以及預(yù)訓(xùn)練技術(shù)的研發(fā),此次登頂XTREME榜單代表了騰訊云小微從單語言到多語言理解相關(guān)技術(shù)的一個擴展。目前,“神農(nóng)”系列的預(yù)訓(xùn)練模型已應(yīng)用于全系列產(chǎn)品矩陣,可顯著提升AI語音助手、智能客服機器人、數(shù)智人等產(chǎn)品的多項技術(shù)指標(biāo)。

隨著開發(fā)的不斷成熟,優(yōu)勢產(chǎn)品向海外拓展成為不少國內(nèi)企業(yè)的選擇。但產(chǎn)品出海通常要面臨適應(yīng)新語種、業(yè)務(wù)本地化的挑戰(zhàn)。過往,以機器翻譯的方式將單語種遷移到多語言場景,不僅費時費力,效果也差強人意。相對于傳統(tǒng)的機器翻譯模式,騰訊云小微“神農(nóng)MShenNonG”預(yù)訓(xùn)練模型有著低成本、低門檻的優(yōu)勢,以輕量參數(shù)為多行業(yè)、小語種提供跨語言遷移服務(wù),助力企業(yè)降本增效,落地出海業(yè)務(wù)。

未來,騰訊云小微團隊還將持續(xù)深耕知識挖掘和深度學(xué)習(xí)技術(shù),探索更多技術(shù)落地場景,以科技助力各行業(yè)的企業(yè)更好地服務(wù)用戶,為社會創(chuàng)造更多價值。

免責(zé)聲明：本文不構(gòu)成任何商業(yè)建議，投資有風(fēng)險，選擇需謹(jǐn)慎！本站發(fā)布的圖文一切為分享交流，傳播正能量，此文不保證數(shù)據(jù)的準(zhǔn)確性，內(nèi)容僅供參考

關(guān)鍵詞：