首頁 科技資訊 網絡

從近講到遠場 小米自研語音技術讓用戶“自由場景自由說”

【TechWeb】智能語音行業已經進入蓬勃發展的時代,隨著智能設備的逐漸增多,用戶對語音交互的需求越來越大。在AIoT時代,智能設備的自然語言交互能力成為與用戶溝通的重要一環。當用戶對智能設備產生需求并進行對話時,語音的喚醒和識別能力直接決定了用戶對設備的好感度。

依托于小愛同學、小米多款智能設備,小米持續深耕語音技術,希望在智能家庭、智能車載等豐富的使用場景之下,更進一步解放對用戶語音識別環境的條件限制,讓用戶體驗更自然、更自由、無壓力的語音交互方式,更好地理解用戶意圖,為用戶提供極致的智能語音交互體驗。

多通道端到端語音技術,讓用戶在“自由場景自由說”

目前,業內各家的近講語音喚醒和識別能力已經達到了較高的水平,在近距離、安靜的環境下,用戶與智能設備的語音交互已經基本無障礙。然而,在強噪聲干擾、強房間混響、說話距離遠、設備自身播放音源等條件下,智能設備與用戶進行連續地自然語音交互仍然具有挑戰性。

如何讓遠場語音性能達到和近講相近的水平,一直是困擾業界語音工程師的一大難題。鑒于此,小米語音團隊的“多通道端到端語音技術”自研能力,取得比“傳統多通道陣列增強模塊加單通道語音技術”更好的性能。

為了在遠場聲音中更準確的識別出目標語音,傳統多通道陣列增強技術會使用空間濾波或語音分離算法,但這些算法引入了較多先驗假設,在一些不符合假設的場景下,性能會明顯下降。另外,傳統多通道陣列處理技術是由多個技術模塊串聯組成,多個麥克風的數據會被送入回聲消除、降噪、去混響、尋向和波束形成等模塊,幾個模塊單獨進行優化,優化目標并不一致。

小米從2018年開始驗證端到端語音喚醒和識別的思路,目標即從充滿噪聲、混響和回聲的多個麥克風中直接學習語音特征,提升真實環境中的識別率和穩定性。經過一系列的校驗,小米多通道端到端語音技術有三大明顯優勢。第一,端上的計算量變小,較之前減少了50%,縮短了所有的計算路徑和時長;其次,端上的存儲量變小,在原有的基礎上大幅減少,減輕了存儲壓力;最后,“多通道端到端語音技術”直接用一個網絡中的不同級去替代之前的多個模塊,最后有一個一致的優化目標,避免誤差的逐級傳播。整個模型用一套神經網絡表述,大幅減小系統設計復雜度,可以明顯降低運算負荷。從大規模訓練數據中習得的深度神經網絡,比基于傳統信號處理的方式,使用的先驗假設少,可以涵蓋更多的實際場景

從近講到遠場,小米自研技術拓寬了語音的想象力

據小米語音工程師介紹,盡管傳統信號處理具有一些方面的不足,但是其能夠較好地處理麥克風陣列信號的相位,利用物理學中樸素的法則“同向相加,異向相消”對不想要的信號分量進行抑制。因此,小米的多通道語音識別模型不僅采用了更先進的深度神經網絡,也同時繼承了傳統信號處理理論對相位處理的精髓,將傳統前端算法和深度神經網絡的優勢進行互補,也即將傳統信號處理的概念進一步拓展,充分利用深度神經網絡的非線性處理能力,提出一種全神經網絡語音識別模型。

在語音識別大牛Daniel Povey加入小米后,小米的語音交互在原有的基礎上更進一步。終于讓多通道端到端語音方案性能超過了傳統方案。經過數據測試,多通道端到端語音技術讓遠場語音識別性能相對提升了10%,使用戶與智能設備的交互更加順暢。

從3G時代,到4G時代,再到5G時代,智能語音交互也發生著巨大的變革。多通道端到端的語音技術不僅讓用戶交互方式更加自由,同時也降低了硬件的產品功耗。從近講的喚醒識別到遠場的喚醒識別,從單通道到多通道,小米自研語音技術旨在幫助用戶在自由的場景下實現自由說的目標。未來,小米將智能語音技術落地至更多應用場景,不斷突破自研技術,為用戶提供更加極致的語音交互體驗。

官方微博/微信

每日頭條、業界資訊、熱點資訊、八卦爆料,全天跟蹤微博播報。各種爆料、內幕、花邊、資訊一網打盡。百萬互聯網粉絲互動參與,TechWeb官方微博期待您的關注。

↑掃描二維碼

想在手機上看科技資訊和科技八卦嗎?

想第一時間看獨家爆料和深度報道嗎?

請關注TechWeb官方微信公眾帳號:

1.用手機掃左側二維碼;

2.在添加朋友里,搜索關注TechWeb。

手機游戲更多

湖北11选五前三走势图