手勢識別與民族弓弦樂器虛擬演奏研究.pdf

1、基于計算機視覺的手勢識別被廣泛地應(yīng)用在人機交互領(lǐng)域。它能夠利用相關(guān)算法對攝像機捕獲的圖像序列進行分析并識別其中的手勢。本文主要通過對手勢識別的研究實現(xiàn)了一個虛擬樂器演奏系統(tǒng)，增加了樂器演奏的趣味性，不僅能夠吸引更多的人來學(xué)習(xí)民族樂器的演奏，還可以為民族非物質(zhì)文化遺產(chǎn)的保護和傳承做出貢獻。
　　本文首先對虛擬演奏系統(tǒng)中使用到的相關(guān)技術(shù)進行了簡要介紹，包括增強現(xiàn)實、體感交互和手勢識別，并對常見的幾類手勢識別技術(shù)進行了詳細的分析比較，然

2、后選擇了適于本系統(tǒng)的自然交互環(huán)境的基于計算機視覺的手勢識別方案。然后根據(jù)手勢識別的一般流程設(shè)計并實現(xiàn)相關(guān)算法。根據(jù)二胡演奏的實際情況，針對左手手勢識別，使用基于3D模型的手勢建模方法定義了五種手勢，利用基于反向動力學(xué)的手勢擬合算法對二胡演奏中的五種基本手勢進行模擬和識別，主要介紹了最佳擬合位置的探索算法；針對右手手勢識別，使用基于表觀的手勢建模方法提取Hu矩特征對定義的兩種右手手勢進行建模，并使用基于輪廓匹配的手勢識別方法進行識別。

3、r>　　最后，利用手勢識別驅(qū)動實現(xiàn)了基于增強現(xiàn)實環(huán)境的虛擬二胡演奏系統(tǒng)。采用深度相機Kinect作為輸入設(shè)備，充分利用Kinect提供的彩色圖像、深度圖像和骨骼數(shù)據(jù)信息構(gòu)建增強現(xiàn)實場景，模擬二胡的虛擬演奏。在場景構(gòu)建的過程中，對人體手部和樂器模型的遮擋問題進行處理，利用深度信息和膚色模型對手部進行分割，然后將分割出來的手部圖像繪制在正確的位置，同時對樂器模型繪制的坐標(biāo)進行調(diào)整，使最終結(jié)果為看起來用戶手持樂器。論文的最后還討論了系統(tǒng)實現(xiàn)過