【中國(guó)智能制造網(wǎng) 訪談】微軟人工智能科學(xué)家鄧力日前接受了記者專訪，以另外的視角詮釋了語(yǔ)音識(shí)別領(lǐng)域的新技術(shù)進(jìn)展，以及他的團(tuán)隊(duì)的一些不同的工作。　　
　　著眼于端到端建模和訓(xùn)練，鄧力介紹了輸出端和輸入端的進(jìn)展，遷移學(xué)習(xí)、增強(qiáng)學(xué)習(xí)、非監(jiān)督學(xué)習(xí)在語(yǔ)音識(shí)別領(lǐng)域的應(yīng)用現(xiàn)狀和前景，并解釋了他對(duì)非監(jiān)督學(xué)習(xí)的獨(dú)特理解，重點(diǎn)總結(jié)了詞嵌入的利用和改善。他還展望了類腦機(jī)器智能突破現(xiàn)有的深度神經(jīng)網(wǎng)絡(luò)局限的方法。
　　
　　有感于有監(jiān)督學(xué)習(xí)的局限，鄧力目前將很大部分的精力用到了非監(jiān)督學(xué)習(xí)上，并且與微軟目前的自然語(yǔ)言理解、對(duì)話系統(tǒng)、聊天機(jī)器人等核心工作相結(jié)合�？春梅潜O(jiān)督學(xué)習(xí)語(yǔ)音識(shí)別，是由于語(yǔ)音識(shí)別領(lǐng)域“先驗(yàn)”知識(shí)的逐漸成熟，包括輸出端非常強(qiáng)的語(yǔ)言模型和多年積累的從輸出端到輸入端映射的生成式知識(shí)。鄧力認(rèn)為，將各種先驗(yàn)知識(shí)整合到一個(gè)完整而能快速計(jì)算和優(yōu)化的非監(jiān)督深度學(xué)習(xí)框架，語(yǔ)音識(shí)別的問(wèn)題將可以徹底解決。當(dāng)然，這需要新的深度非監(jiān)督學(xué)習(xí)算法和理論。
　　
　　鄧力認(rèn)為，詞嵌入或音素嵌入用到語(yǔ)音識(shí)別領(lǐng)域，一項(xiàng)有意思的工作是把喬姆斯基的生成式音韻結(jié)構(gòu)整合到深度學(xué)習(xí)講的嵌入方法里。對(duì)抗式網(wǎng)絡(luò)的思路可以用來(lái)整合語(yǔ)音生成知識(shí)。不過(guò)，詞嵌入的本質(zhì)是利用鄰近詞的預(yù)測(cè)特性，只是所應(yīng)該用的先驗(yàn)知識(shí)的一小部分。更重要的先驗(yàn)知識(shí)應(yīng)該是關(guān)于輸出序列變量的更強(qiáng)并比現(xiàn)有詞嵌入具有更長(zhǎng)距離的統(tǒng)計(jì)特性，以及從輸出到輸入的生成特性。
　　
　　以下為采訪實(shí)錄：
　　
　　非監(jiān)督學(xué)習(xí)語(yǔ)音識(shí)別將來(lái)會(huì)成功，但需要大量創(chuàng)新工作來(lái)鋪路
　　
　　記者：能否介紹當(dāng)前語(yǔ)音識(shí)別領(lǐng)域讓您興奮的一些進(jìn)展，以及您目前所做的一些有趣的工作？
　　
　　鄧力：從整個(gè)語(yǔ)音識(shí)別業(yè)界來(lái)講（包括中國(guó)和美國(guó)幾家主要大公司的工作），令人興奮的進(jìn)展涵蓋了輸出端和輸入端的端到端訓(xùn)練：：
　　
　　端到端建模和訓(xùn)練大規(guī)模神經(jīng)網(wǎng)絡(luò)語(yǔ)音識(shí)別系統(tǒng)近期繼續(xù)降低識(shí)別錯(cuò)誤率，特別是成功用上CTC訓(xùn)練準(zhǔn)則使得端到端訓(xùn)練行之有效。CTC訓(xùn)練準(zhǔn)則忠實(shí)地代表了語(yǔ)音識(shí)別系統(tǒng)的訓(xùn)練目標(biāo)，比我們?cè)贒NN時(shí)代之前用的MCE、MPE、MWE、MMI更合理，盡管CTC的優(yōu)化需要不少工程技巧。我在研究院的同事在這方面做了很多工作，包括對(duì)CTC的延伸并將CTC與傳統(tǒng)的MMI序列訓(xùn)練方法相結(jié)合。
　　
　　行之有效的端到端訓(xùn)練在輸入端已經(jīng)擴(kuò)張到多麥克風(fēng)陣列的語(yǔ)音波形。這使得抗噪音的語(yǔ)音識(shí)別系統(tǒng)部分也整合進(jìn)入端到端學(xué)習(xí)。
　　
　　我自己目前將不少時(shí)間用在關(guān)于讓非監(jiān)督學(xué)習(xí)用到離散序列輸出（比如自然語(yǔ)言）的應(yīng)用，包括語(yǔ)音識(shí)別、機(jī)器翻譯、看圖說(shuō)話，等等。為什么注重像自然語(yǔ)言這樣的離散序列輸出？這是因?yàn)樽匀徽Z(yǔ)言模型包含了非常豐富的“先驗(yàn)”知識(shí)，使得不需輸入輸出匹配的學(xué)習(xí)的成功機(jī)會(huì)大于其他在輸出端缺乏豐富“先驗(yàn)”知識(shí)的應(yīng)用和任務(wù)。
　　
　　靠輸入輸出匹配的學(xué)習(xí)是要花高代價(jià)準(zhǔn)備大訓(xùn)練數(shù)據(jù)的。這是目前很成功的有監(jiān)督深度學(xué)習(xí)的局限之一。相反，無(wú)需輸入輸出匹配的大數(shù)據(jù)成本要低得多，它遍地皆是，有取之不盡用之不竭的潛力。
　　
　　要有效地利用比現(xiàn)有輸入輸出相匹配的訓(xùn)練數(shù)據(jù)高出幾個(gè)數(shù)量級(jí)的無(wú)輸入輸出匹配的大數(shù)據(jù)來(lái)訓(xùn)練深度學(xué)習(xí)系統(tǒng)，有待于開創(chuàng)全新的深度非監(jiān)督學(xué)習(xí)算法和理論。一旦成功，這會(huì)給深度學(xué)習(xí)建立一個(gè)新的里程碑。比如用在語(yǔ)音識(shí)別，任何人們之間的對(duì)話和個(gè)人演講都可以成為非監(jiān)督學(xué)習(xí)語(yǔ)音識(shí)別機(jī)的語(yǔ)料，而我們并不需要去標(biāo)注這些自然的到處都有的語(yǔ)料。
　　
　　為什么我認(rèn)為非監(jiān)督學(xué)習(xí)語(yǔ)音識(shí)別會(huì)成功?因?yàn)槲覀冊(cè)谳敵龆擞胸S富的“先驗(yàn)”知識(shí)，就是非常強(qiáng)的語(yǔ)言模型，可以是嵌入式的，也可以是非嵌入式的。同時(shí)我們也有非常豐富的從輸出端到輸入端映射的生成式的“先驗(yàn)”知識(shí)。這就是語(yǔ)音科學(xué)家?guī)资攴e累下來(lái)的人類從概念到波形的語(yǔ)音motorcontrol和語(yǔ)音生成的知識(shí)。語(yǔ)音生成的motorcontrol要比機(jī)械人對(duì)手指的精細(xì)運(yùn)動(dòng)控制還復(fù)雜。
　　
　　我當(dāng)年在MIT、ATR和在加拿大滑鐵盧大學(xué)任教時(shí)做了很多這方面的研究。當(dāng)時(shí)用的是動(dòng)態(tài)深度貝葉斯網(wǎng)絡(luò)來(lái)表達(dá)和實(shí)現(xiàn)這些知識(shí)，模型中的一部分也用上multilayerperception。我和我的學(xué)生們?cè)?997-2003年發(fā)表了一系列論文。到微軟之后還寫了兩本關(guān)于這方面的書。記得當(dāng)年GeoffHinton教授同我就如何將這些動(dòng)態(tài)語(yǔ)音生成知識(shí)和模型用到有監(jiān)督深度學(xué)習(xí)討論了很長(zhǎng)時(shí)間。當(dāng)時(shí)得到的識(shí)別率結(jié)果跟丟開這些生成知識(shí)的DNN-HMM差不多，但計(jì)算上卻難以得益于用GPU訓(xùn)練，而且解碼要用很多近似，也很慢。所以我把動(dòng)態(tài)語(yǔ)音生成模型放棄了很長(zhǎng)時(shí)間專攻DNN，后者沒(méi)有這些弱點(diǎn)。見(jiàn)文末一些文獻(xiàn)，回顧了以上講的這些古老的工作。
　　
　　現(xiàn)在到了大家開始注重非監(jiān)督深度學(xué)習(xí)的時(shí)代。過(guò)去積累的研究經(jīng)驗(yàn)和有計(jì)算價(jià)值的語(yǔ)音生成知識(shí)真是可以派上用場(chǎng)。將多種類（輸入輸出端統(tǒng)計(jì)特性以及它們的關(guān)聯(lián)性）的先驗(yàn)知識(shí)整合到一個(gè)嶄新的非監(jiān)督深度學(xué)習(xí)框架，我相信語(yǔ)音識(shí)別的問(wèn)題可以徹底解決。
　　
　　深度神經(jīng)網(wǎng)絡(luò)應(yīng)為主干
　　
　　記者：概括地說(shuō)，除了特征提取，深度學(xué)習(xí)在語(yǔ)音識(shí)別領(lǐng)域主要還發(fā)揮哪些作用？
　　
　　鄧力：端到端訓(xùn)練高層動(dòng)態(tài)網(wǎng)絡(luò)是有監(jiān)督深度學(xué)習(xí)在語(yǔ)音識(shí)別領(lǐng)域應(yīng)用的精華。特征提取只是它的自然結(jié)果之一。
　　
　　直到現(xiàn)在，單靠特征提取在非監(jiān)督深度學(xué)習(xí)上從未成功過(guò)。
　　
　　記者：您與俞棟博士合著的新書《解析深度學(xué)習(xí)-語(yǔ)音識(shí)別實(shí)踐》系統(tǒng)地介紹了基于DNN的語(yǔ)音識(shí)別技術(shù)，哪些人應(yīng)該讀這本書？他們會(huì)收獲些什么？這本書適合入門嗎？需要讀者具備什么知識(shí)基礎(chǔ)？
　　
　　鄧力：我們?cè)谛蜓岳镏v到這本書的對(duì)象主要是語(yǔ)音處理及機(jī)器學(xué)習(xí)領(lǐng)域的在讀研究生、研究者、實(shí)踐者、工程師以及科學(xué)家的學(xué)習(xí)研究工作。但注意由于我們寫書時(shí)間緊迫，有些內(nèi)容沒(méi)有加上，包括CNN、CTC、麥克風(fēng)陣列、語(yǔ)音分離，等等。
　　
　　閱讀本書的知識(shí)基礎(chǔ)包括微積分、矩陣代數(shù)和基本的概率統(tǒng)計(jì)等。
　　
　　對(duì)于入門讀者，我們同年出版的英文版《深度學(xué)習(xí):方法和應(yīng)用》（由謝磊教授翻譯成中文）可能更適合。只是材料有點(diǎn)過(guò)時(shí)了。
　　
　　記者：您介紹了很多魯棒性的方法，有哪一種是您喜歡的嗎？
　　
　　鄧力：對(duì)speaker魯棒性的方法，我很喜歡KL-divergenceregularization，不但管用，而且方法巧妙，實(shí)現(xiàn)起來(lái)也簡(jiǎn)單。是subspace方法中的一種。
　　
　　對(duì)抗環(huán)境噪音的魯棒性的方法，我在全力攻DNN之前很喜歡VTS的方法，也發(fā)明了整合語(yǔ)音-噪音相位的VTS方法，不但方法巧妙，在某些條件下也挺管用。但因?yàn)樗玫氖巧墒降母拍�，幾年前很難用DNN方法來(lái)實(shí)現(xiàn)�，F(xiàn)在我們知道怎樣整合生成式模型和神經(jīng)網(wǎng)絡(luò)（見(jiàn)書中第6章和文末一些文獻(xiàn)），大家做這方面的研究可能就有成功希望了。
　　
　　記者：書中專門談到了遷移學(xué)習(xí)，舉了一些例子，如歐洲語(yǔ)言到中文普通話的成功遷移，那么哪些因素決定共享DNN隱層架構(gòu)在當(dāng)前語(yǔ)音識(shí)別領(lǐng)域的邊界和局限？遷移學(xué)習(xí)在語(yǔ)音識(shí)別領(lǐng)域推廣應(yīng)用的挑戰(zhàn)是什么？