增強(qiáng)現(xiàn)實(shí)中基于深度融合的徒手交互方法研究.pdf

1、目前增強(qiáng)現(xiàn)實(shí)系統(tǒng)的應(yīng)用越發(fā)廣泛。在增強(qiáng)現(xiàn)實(shí)系統(tǒng)中，相機(jī)跟蹤、虛實(shí)融合和人機(jī)交互是三大核心問題。當(dāng)用戶使用增強(qiáng)現(xiàn)實(shí)系統(tǒng)時(shí)，徒手交互是最自然的交互方式之一。然而當(dāng)前手部交互場景下的增強(qiáng)現(xiàn)實(shí)系統(tǒng)依然存在著許多不足。例如只引入少量深度線索如透視、遮擋等線索，導(dǎo)致手部與虛擬物體的融合度不高。同時(shí)交互方式也局限于手勢識(shí)別或者簡單的碰撞交互。
　　針對(duì)上述徒手交互增強(qiáng)現(xiàn)實(shí)中的虛實(shí)融合和人機(jī)交互問題，本文提出了一套基于多通道手部實(shí)時(shí)運(yùn)動(dòng)信息的增強(qiáng)

2、現(xiàn)實(shí)框架。多通道的手部實(shí)時(shí)信息包括:由手部信息采集設(shè)備得到的手部位姿、運(yùn)動(dòng)靈活的虛擬手交互模型、渲染虛擬手得到的手部深度圖以及由膚色檢測得到的膚色掩碼。本文詳細(xì)介紹了這些信息的獲取方法以及在虛實(shí)融合以及人機(jī)交互時(shí)的應(yīng)用。在虛實(shí)融合時(shí)，依據(jù)手部深度信息和手部膚色，實(shí)現(xiàn)真實(shí)手與虛擬物體的遮擋;由虛擬手和虛擬物體的三維模型，實(shí)現(xiàn)真實(shí)手對(duì)虛擬物體的投影。在交互時(shí)，既可以選擇對(duì)手部位置信息進(jìn)行處理識(shí)別手勢，也可以選擇用虛擬手模型碰撞檢測的方法實(shí)現(xiàn)