聲音內(nèi)容特征控制的動畫自動生成系統(tǒng)研究.pdf

1、近幾年來，隨著多媒體技術以及網(wǎng)絡技術的迅速發(fā)展，網(wǎng)絡上的信息資源日益豐富，并且以圖像信息和音頻信息等多媒體信息為主。最近，多媒體信息越來越趨向多元化和綜合化。以前，網(wǎng)絡上傳送的信息只有單純的文本、圖像和聲音等信息，但是隨著 flash等多媒體流的出現(xiàn)，聲音和圖像開始出現(xiàn)整合，音頻信息和視覺信息綜合化也成為趨勢，因而音頻信息轉(zhuǎn)化成視覺信息就成為迫切需求。
　　本文針對音頻信號，提取基于內(nèi)容的音頻特征參數(shù)，實現(xiàn)一個實時動畫的系統(tǒng)，包括

2、音頻特征參數(shù)提取、動畫對象選取、動畫動作映射等模塊。用戶只需要選擇音樂，選擇要顯示的動畫對象及其對應的動作，便可以欣賞到音樂的可視化效果，體驗音樂的聽覺場景到視覺場景的轉(zhuǎn)換。
　　音頻特征參數(shù)提取模塊，實現(xiàn)的是基于內(nèi)容的音頻特征參數(shù)的提取。音頻特征參數(shù)的提取可分為在時域、頻域和時頻域的提取。連續(xù)的音頻信號經(jīng)過采樣后，得到采樣點。在音頻時域特征提取中，每個采樣點包含了這一時刻音頻信號的所有信息，所以對其直接提取音頻特征，不需要做任何

3、進一步處理。音頻的時域特征提取包括短時平均能量、過零率等。一般來說，語音或音樂信號中或多或少含有一些環(huán)境噪聲。在時域范圍是很難分離出這些噪聲的，而在頻域范圍，通過分析信號的頻譜組成，很容易提取出主要的音頻信息。所謂頻域特征提取，就是將音頻信號先進行傅立葉變換，分析出組成該音頻信號的不同頻率和不同幅值的諧波，對這些諧波進行特征系數(shù)的提取，可提取的頻域特征有:能量譜、倒譜特征等。在現(xiàn)實生活中，某些音頻信號具有很強的時變特性，在某一段時間內(nèi)表

4、現(xiàn)出周期信號的特性，而在另一個時間段表現(xiàn)出噪音特性。對于這些時變劇烈的音頻信號，不能僅從時域分析，也不能僅從頻域分析，因為傅立葉變換只顧及全局特性，而犧牲局部特性，因而采用在時頻域提取音頻特征參數(shù)。本論文在音頻特征參數(shù)提取的具體算法中，采用VC++和Matlab混合編程的方式。最終提取的參數(shù)包括短時平均能量、短時過零率、短時頻譜能量及短時倒譜值等。
　　動畫對象模塊，實現(xiàn)的是動畫對象的構(gòu)造和選取。本論文動畫對象采用矢量圖和位圖兩種

5、。矢量圖由OpenGL繪制。OpenGL具有超強的圖形繪制能力，包括繪制物體、啟動光照、管理位圖、紋理映射、動畫、圖像增強以及交互技術等功能。作為圖形硬件的軟件接口，OpenGL主要是將三維的物體投影到一個二維平面上，之后處理得到像素進行顯示。位圖圖像(bitmap)，是由稱作像素(圖片元素)的單個點組成的。這些點可以進行不同的排列和染色以構(gòu)成圖樣。圖像動畫有兩種處理方法，一種是對圖像像素進行點操作，通過對各個像素的處理，實現(xiàn)圖像的顏色