【itc干貨分享】視頻會(huì)議中核心音頻處理技術(shù)解析
在網(wǎng)絡(luò)化社會(huì),遠(yuǎn)程協(xié)作打破了網(wǎng)絡(luò)的限制,低帶寬也可實(shí)現(xiàn)超高清的遠(yuǎn)程會(huì)議,成為信息化辦公建設(shè)的重要選擇。此外,用戶也關(guān)注遠(yuǎn)程交互的音視頻流暢體驗(yàn)感,當(dāng)市面上均可實(shí)現(xiàn)高清晰度畫質(zhì)的遠(yuǎn)程協(xié)作時(shí),音頻處理技術(shù)的改進(jìn)也成為系統(tǒng)研發(fā)的一大關(guān)注點(diǎn)。
WebRTC技術(shù)即實(shí)時(shí)通信技術(shù),由語(yǔ)音引擎,視頻引擎和網(wǎng)絡(luò)傳輸三大模塊組成,其中語(yǔ)音引擎是WebRTC中最具價(jià)值的技術(shù)之一,也是視頻會(huì)議系統(tǒng)為提升音頻處理能力而采用的一項(xiàng)重點(diǎn)技術(shù),實(shí)現(xiàn)了音頻數(shù)據(jù)的采集、前處理、編碼、發(fā)送、接受、解碼、混音、后處理、播放等一系列處理流程。
音視頻數(shù)據(jù)的處理有個(gè)預(yù)處理過(guò)程,也就是在音視頻數(shù)據(jù)采集完成之后的一步,主要是對(duì)采集錄制的音頻數(shù)據(jù)的預(yù)處理,預(yù)處理技術(shù)用的是3A處理,即AEC (Acoustic Echo Cancellation) 回聲消除,ANS (Automatic
Noise Suppression) 降噪,和 AGC (Automatic Gain Control) 自動(dòng)增益控制。itc視云4.0遠(yuǎn)程視頻會(huì)議系統(tǒng)采用3A音頻處理技術(shù),從技術(shù)層面提高語(yǔ)音清晰度,最大程度還原現(xiàn)場(chǎng)原聲的溝通效果。
AEC
回音消除(AEC)是為了消除機(jī)器自身發(fā)出的聲音,不影響外界傳遞過(guò)去的聲音。如在雙工通話的場(chǎng)景中,將來(lái)自遠(yuǎn)端的經(jīng)過(guò)揚(yáng)聲器放出來(lái)的聲音消掉,否則經(jīng)過(guò)麥克風(fēng)采集和近端說(shuō)話人信號(hào)混在一起被傳遞到遠(yuǎn)端,會(huì)導(dǎo)致回聲甚至造成嘯叫,這種回聲對(duì)于一些通信設(shè)備來(lái)說(shuō)體驗(yàn)是非常差的。
使用不同的自適應(yīng)濾波算法調(diào)整濾波器的權(quán)值向量,估計(jì)一個(gè)近似的回聲路徑來(lái)逼近真實(shí)回聲路徑,從而得到估計(jì)的回聲信號(hào),并在純凈語(yǔ)音和回聲的混合信號(hào)中除去此信號(hào)來(lái)實(shí)現(xiàn)回聲的消除。
ANS
噪聲抑制(ANS)可探測(cè)出背景噪音并消除,呈現(xiàn)出與會(huì)者清晰的聲音。
背景噪聲分為平衡噪聲和瞬時(shí)噪聲兩類,平穩(wěn)噪聲的頻譜穩(wěn)定,瞬時(shí)噪聲的頻譜能量方差小,利用噪聲的特點(diǎn),對(duì)音頻數(shù)據(jù)添加反向波形處理,即可消除噪聲。
AGC
自動(dòng)增益控制(AGC),是使放大電路的增益自動(dòng)地隨信號(hào)強(qiáng)度而調(diào)整的自動(dòng)控制方法,主要用于調(diào)整音量幅值。
正常人交談的音量在40~60dB之間,低于25dB的聲音聽(tīng)起來(lái)很吃力,超過(guò)100dB的聲音會(huì)讓人不適。AGC的調(diào)整分為模擬部分和數(shù)字部分,模擬部分是麥克風(fēng)的采集增益,數(shù)字部分是音頻數(shù)據(jù)的數(shù)字電平調(diào)整,最終將音量調(diào)整到人接受的范圍。
AEC的作用就是通過(guò)播放的參考信號(hào)跟蹤出回聲并從采集信號(hào)中把回聲消除掉,隨后再經(jīng)過(guò)ANS降噪處理去除噪聲,清澈音頻效果。可為輸入的音頻數(shù)據(jù)帶來(lái)明顯的質(zhì)量?jī)?yōu)化,如提高信噪比,避免輸入信號(hào)溢出等。AGC可以根據(jù)對(duì)輸入信號(hào)的跟蹤,盡可能將信號(hào)調(diào)整至期望大小(幅值或能量),從而避免不同設(shè)備采集帶來(lái)的音量差異過(guò)大。itc視云4.0遠(yuǎn)程視頻會(huì)議系統(tǒng)通過(guò)3A音頻處理,集成唇音同步、回聲消除、噪聲消除、自動(dòng)增益等音頻編解碼技術(shù),還原會(huì)議現(xiàn)場(chǎng)原聲效果,帶來(lái)親臨其境的高效溝通。
itc視云4.0遠(yuǎn)程視頻會(huì)議系統(tǒng)的通過(guò)用高質(zhì)、高效的視頻編解碼器實(shí)現(xiàn)遠(yuǎn)程會(huì)議的4K高清交流體驗(yàn),降低延時(shí),減少畫質(zhì)損耗,全球視頻傳輸技術(shù)20%丟包的情況下,依舊呈現(xiàn)4K高清畫質(zhì),1M網(wǎng)絡(luò)即可接入1080P會(huì)議,2M網(wǎng)絡(luò)可達(dá)4K視頻效果,支持有線網(wǎng)絡(luò)、WiFi、4G信號(hào)等各種網(wǎng)絡(luò)接入,實(shí)現(xiàn)手機(jī)端、電腦端、平板端、硬終端等任意設(shè)備隨時(shí)隨地流暢與會(huì)。
會(huì)議資料與主講人畫面同屏顯示,進(jìn)行資料共享、重點(diǎn)批注,語(yǔ)音轉(zhuǎn)文字并存儲(chǔ)、會(huì)議內(nèi)容錄制等智會(huì)應(yīng)用,滿足數(shù)字會(huì)議建設(shè)需求,高效決策。云架構(gòu)設(shè)計(jì)支持服務(wù)器相互備份,保障會(huì)議無(wú)間斷進(jìn)行。
itc視云4.0系統(tǒng)廣泛應(yīng)用于政府、公檢法、集團(tuán)企業(yè)、醫(yī)療、教育、金融、景區(qū)、園區(qū)等各個(gè)行業(yè)。