語音信號(hào)處理-短時(shí)傅立葉分析與綜合與聽覺特征

1、人耳感知原理,SDTFT的兩種解釋1.濾波解釋2.調(diào)制解釋,（1）,,濾波觀點(diǎn),（3）,（2）,可解釋為x(n)調(diào)制到頻率ω0,調(diào)制觀點(diǎn),（4）,,（3）式改寫為,信號(hào)調(diào)制,1.載波,,,,,,,特點(diǎn)：頻率較高,2.被調(diào)制信號(hào),,一般來說，頻率遠(yuǎn)低于載波,,,,調(diào)制后的信號(hào),語音信號(hào)的調(diào)制解釋,語音可看作多個(gè)信號(hào)被調(diào)制到多個(gè)載波后疊加的結(jié)果,,,二、語音聽覺系統(tǒng)（一個(gè)十分巧妙的音頻信號(hào)處理器）,,人類接收語音由人耳來完成，空氣振動(dòng)由

2、耳廓收集，經(jīng)外耳道而抵達(dá)鼓膜，鼓膜隨之振動(dòng)，使鼓室中的空氣和聽骨鏈也發(fā)生振動(dòng)，聽骨鏈的振動(dòng)經(jīng)前庭窗（卵圓窗）激勵(lì)前庭淋巴，變?yōu)橐翰ǎ翰ㄊ刮挥诨啄ど系穆菪魇艿酱碳?，將神?jīng)沖動(dòng)經(jīng)聽神經(jīng)傳到中樞而產(chǎn)生聽覺。,正常人的聽覺系統(tǒng)是極為靈敏的，可聽聲的范圍為0.02Hz-20kHz。 可聽聲的最小聲壓級(jí)(dB)稱為聽閾。-5 130dB，對(duì)低頻和高頻是不敏感的，聽閾為60dB，在1kHz附近最敏感。,,,1. 耳的結(jié)構(gòu)（外耳、中耳和內(nèi)

3、耳）和功能,外耳：對(duì)聲源定位和對(duì)聲音放大的作用，由耳廓和外耳道組成?！疃事┒沸?，其作用是收集聲音?！钔舛乐敝凉哪?，其中充滿空氣，是一諧振腔，使諧振頻率附近的頻率成分有某些放大作用，導(dǎo)致聲音有某些失真。,外耳道的長(zhǎng)度為2.5cm，對(duì)波長(zhǎng)為其4倍作用的聲波能起到較好的放大作用，即有：4?2.5=10cm， 3000-4000Hz聲波的波長(zhǎng)為8.5cm-11.41cm，因此外耳道對(duì)這部分頻率的信號(hào)有擴(kuò)音作用，10dB左右。,,外耳道

4、,中耳,★ 結(jié)構(gòu)：總?cè)萘繛?立方厘米，內(nèi)含三塊聽小骨，錘骨、砧骨、鐙骨，其中錘骨與鼓膜相接觸，鐙骨則與內(nèi)耳的前庭窗相接觸。,★ 作用：進(jìn)行阻抗變換，將中耳兩端的聲阻抗匹配起來；保護(hù)內(nèi)耳。在一定聲強(qiáng)范圍內(nèi)，聽小骨實(shí)現(xiàn)聲音的線性傳遞，而在特強(qiáng)聲時(shí)，實(shí)現(xiàn)非線性傳遞。,內(nèi)耳,★ 結(jié)構(gòu)：主要部分是耳蝸，耳蝸長(zhǎng)約3.5cm，呈螺旋狀盤繞2.5-2.75圈，是一個(gè)密閉的管子，內(nèi)部充滿了淋巴液。,,,,,,,前庭窗,,鐙骨,,基底膜,★ 作用：將振動(dòng)變

5、換為神經(jīng)沖動(dòng)。當(dāng)聲音傳入中耳時(shí)，鐙骨的運(yùn)動(dòng)經(jīng)過前庭窗引起耳蝸內(nèi)液體壓強(qiáng)的變化，從而引起行波沿基底膜的傳輸，引起基底膜的振動(dòng)。不同頻率的聲音產(chǎn)生不同的行波，其峰值出現(xiàn)在基底膜的不同位置上?；啄さ恼駝?dòng)導(dǎo)致沿基底膜分布的毛細(xì)胞的電位發(fā)生改變，引起神經(jīng)沖動(dòng)，傳遞給大腦，產(chǎn)生聽覺。,如果信號(hào)是一個(gè)多頻率的信號(hào)，則產(chǎn)生的行波將沿著基底膜在不同的位置產(chǎn)生最大幅度，從這個(gè)意義上講，耳蝸就像一個(gè)頻譜分析儀，將復(fù)雜信號(hào)分解成各種頻率分量，這種作用稱為人耳

6、的時(shí)頻分析特性。耳蝸在語音接收過程起著重要的作用。,人工耳蝸是一種電子裝置，能幫助重度及極重度耳聾患者獲得或重新恢復(fù)聽覺。它代替病變受損的聽覺器官，把聲音轉(zhuǎn)換成編碼的電信號(hào)傳入內(nèi)耳耳蝸，刺激分布在那里的聽神經(jīng)，再由大腦產(chǎn)生聽覺。,人工耳蝸,麥克風(fēng)接收聲音，并通過導(dǎo)線將其傳至言語處理器；言語處理器對(duì)聲音進(jìn)行數(shù)字化、濾波編碼等處理，并將編碼信號(hào)經(jīng)導(dǎo)線傳至傳輸線圈；傳輸線圈將編碼信號(hào)通過耦合傳至皮下的接收器；接收器對(duì)編碼信號(hào)進(jìn)行解碼；按信號(hào)選

7、擇一定位置的電極，刺激耳蝸內(nèi)的聽神經(jīng)纖維，使其產(chǎn)生興奮，將信號(hào)傳入大腦，產(chǎn)生聽覺。,人工耳蝸的工作原理,2.聲音傳入內(nèi)耳的途徑,由空氣傳導(dǎo)，稱為氣導(dǎo)，其過程為：聲波 耳廓 鼓膜 聽骨 內(nèi)耳 基底膜上毛細(xì)胞電位改變 神經(jīng)沖動(dòng),,,,,,由骨傳導(dǎo)，稱為骨導(dǎo)，其過程為：聲波 顱骨 外淋巴振動(dòng) 內(nèi)耳 基底膜上毛細(xì)胞電位改變 神經(jīng)沖動(dòng),,,,

8、,,,,3. 人耳的兩個(gè)重要特性,（1）耳蝸對(duì)聲信號(hào)的時(shí)頻分析特性（2）人耳的掩蔽效應(yīng),,人耳的掩蔽（masking phenomenon）效應(yīng):在一個(gè)強(qiáng)信號(hào)附近弱信號(hào)將變得不可聞，被掩蔽掉了。,掩蔽閾值,被掩蔽掉的不可聞信號(hào)的最大聲壓級(jí)稱為掩蔽門限和掩蔽閾值（masking threshold）,在這個(gè)掩蔽閾值以下的聲音將被掩蔽掉。,掩蔽效應(yīng)分為同時(shí)掩蔽(頻域掩蔽)和短時(shí)掩蔽（時(shí)域掩蔽）。同時(shí)掩蔽是指存在一個(gè)弱信號(hào)和一個(gè)強(qiáng)信號(hào)，當(dāng)其

9、頻率接近時(shí)，強(qiáng)信號(hào)會(huì)提高弱信號(hào)的閾值，就會(huì)導(dǎo)致弱信號(hào)變得不可聞。,,,,1kHz的聽閾,1dB,20dB,4dB,,,可聞聲,3dB,,不可聞聲,圖形描述,同時(shí)出現(xiàn)的A聲和B聲，若原來A聲的閾值為50dB,由于另一個(gè)頻率不同的B聲的存在使得A聲的閾值提高了68dB,則B聲稱為掩蔽聲，A聲稱為被掩蔽聲。掩蔽量為68dB－50dB＝18dB。,數(shù)學(xué)描述,掩蔽效應(yīng)的作用,當(dāng)只有A聲時(shí)，必須將聲壓級(jí)在50dB以上的聲音信號(hào)傳送出去，50dB以下

10、的聲音是聽不到的。當(dāng)同時(shí)出現(xiàn)了B聲，由于掩蔽效應(yīng)，使得A聲中的68dB以下的聲音是聽不到了，可以不予傳送，只是傳送50dB以上的信號(hào)。,同時(shí)掩蔽時(shí)，掩蔽聲越強(qiáng)，掩蔽作用越大；掩蔽聲和被掩蔽聲的頻率越接近，掩蔽效果越明顯，當(dāng)頻率相同時(shí)，掩蔽效果最大。,前向掩蔽：若被掩蔽聲A出現(xiàn)后，相隔(0.05s,2s)之內(nèi)出現(xiàn)了掩蔽聲B，對(duì)A起掩蔽作用，因?yàn)锳聲尚未被人所反應(yīng)接收而強(qiáng)大的B聲已來臨。,短時(shí)掩蔽 前向掩蔽和后向掩蔽,,后向掩蔽：掩