谷歌語音模型USM目前已支持100多種語音自動(dòng)識(shí)別。
(相關(guān)資料圖)
編譯 | 吳菲凝
編輯 | 李水青
智東西3月7日報(bào)道,根據(jù)谷歌官網(wǎng),谷歌的通用語音模型USM目前已實(shí)現(xiàn)升級(jí),支持100多個(gè)語種內(nèi)容的自動(dòng)識(shí)別檢測。
去年11月,谷歌曾計(jì)劃創(chuàng)建一個(gè)支持1000個(gè)語種的AI模型USM。谷歌將其描述為“最先進(jìn)的通用語音模型”,擁有20億個(gè)參數(shù),經(jīng)過涵蓋1200萬小時(shí)的語音、280億個(gè)句子和300多個(gè)語種數(shù)據(jù)集的預(yù)訓(xùn)練。
USM的強(qiáng)大效果目前已在Youtube的字幕生成中展現(xiàn)出來,可自動(dòng)翻譯和檢測如英語、漢語等主流語種,還能識(shí)別出阿薩姆語這種小眾語種,可以說“精通方言”。
根據(jù)谷歌博客,與OpenAI的大型通用語音模型Whisper相比,USM的數(shù)據(jù)訓(xùn)練時(shí)長更短,錯(cuò)誤率更低。
01.可自動(dòng)檢測翻譯100+語種
USM面臨兩大挑戰(zhàn)
當(dāng)微軟和谷歌還在為誰家的AI聊天機(jī)器人更智能而爭論不休時(shí),我們需要清楚,語音模型的用途遠(yuǎn)不止于此。
外媒The Verge的記者稱,除了相傳將在今年的I/O開發(fā)者大會(huì)中展示的20多款A(yù)I驅(qū)動(dòng)產(chǎn)品之外,谷歌目前還在朝著更高目標(biāo)邁進(jìn)——構(gòu)建一個(gè)支持1000種語種的機(jī)器學(xué)習(xí)模型。
在周一發(fā)布的更新中,谷歌分享了更多有關(guān)USM的信息,谷歌稱,這是構(gòu)建支持1000種語言的通用語音模型的“關(guān)鍵第一步”。
USM已被YouTube用于生成字幕,它還支持自動(dòng)語音識(shí)別(ASR),可自動(dòng)檢測和翻譯語言,不僅包括普通話、英語等廣泛使用的語言,還包括阿姆哈拉語、宿務(wù)語、阿薩姆語等冷門語言。
目前,谷歌稱USM可支持檢測100多個(gè)語種,并將作為構(gòu)建更大的系統(tǒng)的“基礎(chǔ)”。不過,這項(xiàng)技術(shù)似乎還有些遙遠(yuǎn),谷歌在I/O開發(fā)者大會(huì)期間對阿拉伯語的錯(cuò)誤表述就已證明。
谷歌研究院科學(xué)家張宇(Yu Zhang)和軟件工程師詹姆斯·秦(James Qin)在谷歌博客上發(fā)文稱,為了實(shí)現(xiàn)USM這個(gè)雄心勃勃的目標(biāo),他們目前需要解決ASR面臨的兩個(gè)重大挑戰(zhàn)。
一是傳統(tǒng)的學(xué)習(xí)方法的缺乏可擴(kuò)展性。語音技術(shù)擴(kuò)展到多語種的一個(gè)基本挑戰(zhàn)是需要足夠的數(shù)據(jù)來訓(xùn)練高質(zhì)量的模型,使用傳統(tǒng)方法時(shí),需要手動(dòng)將音頻數(shù)據(jù)進(jìn)行標(biāo)記,既耗時(shí)又價(jià)格高昂,對于那些小眾冷門的語種而言,也更難找到預(yù)先存在的來源收集。因此,研究院后續(xù)準(zhǔn)備將傳統(tǒng)學(xué)習(xí)方法轉(zhuǎn)變?yōu)樽晕冶O(jiān)督學(xué)習(xí),利用純音頻來收集數(shù)據(jù)。
二是在擴(kuò)大語言覆蓋范圍和質(zhì)量的同時(shí),模型必須以計(jì)算效率更高的方法來改進(jìn)。這就要求學(xué)習(xí)算法更加靈活、高效、泛化。這些算法需要使用來源廣泛的數(shù)據(jù),并在不用完全訓(xùn)練的情況下更新模型,再推廣到新的語言中。
02.三個(gè)步驟降低識(shí)別錯(cuò)誤率
擊敗OpenAI
據(jù)該團(tuán)隊(duì)發(fā)表的論文稱,USM使用的是標(biāo)準(zhǔn)的編碼器-解碼器架構(gòu),其中解碼器是CTC、RNN-T和LAS,編碼器使用的是Conformer或卷積增強(qiáng)變換器。其中,Conformer使用的關(guān)鍵組件是Conformer塊,由注意力模塊、前饋模塊和卷積模塊組成,應(yīng)用一系列Conformer塊和投影層以最終嵌入。
據(jù)論文顯示,對于USM的訓(xùn)練共分為三個(gè)步驟。
第一步是使用BEST-RQ來對涵蓋數(shù)百種語種的語音音頻進(jìn)行自我監(jiān)督學(xué)習(xí),已經(jīng)在多語言任務(wù)上展示了最先進(jìn)的結(jié)果,在使用了大量的無監(jiān)督音頻數(shù)據(jù)后的證明結(jié)果是有效的。
第二步需要使用多目標(biāo)監(jiān)督預(yù)訓(xùn)練來整合來自于其他文本數(shù)據(jù)的信息。該模型引入了一個(gè)額外的編碼器模塊來輸入文本,并引入額外層來組合語音編碼器和文本編碼器的輸出,并在未標(biāo)記語音、標(biāo)記語音和文本數(shù)據(jù)上聯(lián)合訓(xùn)練模型。
最后一步需要USM對下游任務(wù)進(jìn)行微調(diào),包括ASR(自動(dòng)語音識(shí)別)和AST(自動(dòng)語音翻譯)。
USM的整體培訓(xùn)渠道
對于USM的有效性,團(tuán)隊(duì)通過Youtube Caption的多語言語音數(shù)據(jù)進(jìn)行微調(diào)來驗(yàn)證。
受監(jiān)督的Youtube數(shù)據(jù)包括有73種語種,每個(gè)語種的數(shù)據(jù)不到3000小時(shí)。盡管監(jiān)督的數(shù)據(jù)有限,但USM在73個(gè)語種當(dāng)中實(shí)現(xiàn)了平均低于30%的單詞容錯(cuò)率(WER),與當(dāng)前內(nèi)部最先進(jìn)的模型相比降低了6%。與進(jìn)行了近40萬小時(shí)數(shù)據(jù)訓(xùn)練的大型模型Whisper相比,USM的錯(cuò)誤率更低,它在18個(gè)語種中的解碼錯(cuò)誤率僅有32.7%,而Whisper有40%。
在WER低于40%的情況下,USM在其支持的語言上優(yōu)于Whisper
在公開可用的數(shù)據(jù)上,與Whisper相比,USM在CORAAL(非裔美國人使用的英語)、SpeechStew和FLEURS這三個(gè)語言數(shù)據(jù)集上都顯示出了更低的單詞容錯(cuò)率。
在ASR基準(zhǔn)上比較USM(有或沒有域內(nèi)數(shù)據(jù))和Whisper的結(jié)果。
對于語音翻譯,團(tuán)隊(duì)在CoVoST數(shù)據(jù)集上微調(diào)USM,在有限的監(jiān)督數(shù)據(jù)上實(shí)現(xiàn)了最好的性能。為了評(píng)估模型性能的廣度,他們根據(jù)資源可用性將CoVoST數(shù)據(jù)集中的語言分為高、中、低三類,并計(jì)算每個(gè)部分中的BLEU分?jǐn)?shù)(機(jī)器翻譯評(píng)價(jià)指標(biāo)),根據(jù)最終展示出的結(jié)果,USM在所有細(xì)分市場上的表現(xiàn)都優(yōu)于Whisper。
他們認(rèn)為,谷歌若想實(shí)現(xiàn)連接全球信息并使每個(gè)人都能自由訪問的愿景,USM的開發(fā)將會(huì)是關(guān)鍵的一步,USM的基礎(chǔ)模型框架和訓(xùn)練通道已經(jīng)打下了一個(gè)基礎(chǔ),他們要做的就是在此基礎(chǔ)上將語音模型擴(kuò)展至1000種語言。
03.結(jié)語:AI突破語言障礙
助全球打破信息繭房
目前,USM已支持100多個(gè)語種,未來將持續(xù)擴(kuò)展到1000多個(gè),屆時(shí)將會(huì)吸引到更大一部分用戶進(jìn)行體驗(yàn),真正實(shí)現(xiàn)將信息分發(fā)到全球各個(gè)角落。
信息時(shí)代,科技進(jìn)步將會(huì)進(jìn)一步幫助各個(gè)國家地區(qū)的語言和文化突破地域的限制,很大程度上解決信息繭房帶來的困擾。
關(guān)鍵詞:
網(wǎng)站首頁 |網(wǎng)站簡介 | 關(guān)于我們 | 廣告業(yè)務(wù) | 投稿信箱
Copyright © 2000-2020 m.netfop.cn All Rights Reserved.
中國網(wǎng)絡(luò)消費(fèi)網(wǎng) 版權(quán)所有 未經(jīng)書面授權(quán) 不得復(fù)制或建立鏡像
聯(lián)系郵箱:920 891 263@qq.com