基于LAP方法的機器人靈巧手控制.pdf

1、本文討論將計算機視覺用于人手姿態(tài)的檢測，在基于任務(wù)建模的方式下，進行多指機械靈巧手的操作控制的研究工作。 機械手，包括靈巧手，是機器人進行操作的最重要的工具，對應(yīng)的控制是機器人適應(yīng)性地完成各種作業(yè)任務(wù)的關(guān)鍵。具有多手指、多關(guān)節(jié)和多自由度的多指靈巧機械手可以提高機器人的操作能力，實現(xiàn)復(fù)雜的靈巧操作。 傳統(tǒng)上的機械手通常采用離線編程或示教的方法進行控制，機械手完成的是事先規(guī)定好的工作，這種工作模式降低了機械手對非結(jié)構(gòu)環(huán)境的適

2、應(yīng)性。采用視覺傳感器的機器人系統(tǒng)，用攝像機攝入被抓取的物體的影像，通過圖像處理分析，獲得物體的方位、形狀參數(shù)，可以讓機器人能自動識別需要抓取的對象，確定機械手的夾持器的方位和抓取方法。 但是，基于目前技術(shù)發(fā)展的水平，不可能完全靠傳感器對機械手的直接控制來完成復(fù)雜的任務(wù)，即使在所謂結(jié)構(gòu)環(huán)境中，機械手仍需要依賴多種形式的“學(xué)習(xí)”，“積累”處理可能出現(xiàn)的各種情形的知識。另一方面，在非結(jié)構(gòu)化環(huán)境中，靠機器人完全適應(yīng)性地完成各種作業(yè)任務(wù)是

3、不現(xiàn)實的，往往需要人機配合，由人進行必要的監(jiān)控和決策。并用人機交互手段干預(yù)機械手的動作。鼠標(biāo)與鍵盤是傳統(tǒng)上最常用的人機接口。 新型的人機接口裝置——數(shù)據(jù)手套的出現(xiàn)，大大增加了機械手，特別是多指、多關(guān)節(jié)的機械靈巧手的適應(yīng)性，但是數(shù)據(jù)手套多數(shù)是采用命令姿態(tài)作為控制方式的，操作者在使用數(shù)據(jù)手套以前需要進行訓(xùn)練，手套需要標(biāo)定。命令姿態(tài)數(shù)量也是有限的。而且，數(shù)據(jù)手套是接觸性傳感器，容易損壞、不夠舒適、價格比較高。另外，與計算機相連的數(shù)據(jù)手

4、套在一定程度上限制了操作者的活動。手套開始工作后，就連續(xù)檢測人手的動作，影響了操作者與其他人或設(shè)備的交互。 在過去的幾年中，計算機視覺拓展了一個所謂“看人”(lookingatpeople，以下簡稱LAP)的應(yīng)用領(lǐng)域，用計算機視覺作為人機接口，通過觀察(監(jiān)視)、分析人體不同部分的表情或姿態(tài)，從中提取有用的控制信息。由于是非接觸性檢測，因此對于操作者而言感覺比較自由而且自然，同時還能為機器提供豐富的信息資源，具有廣闊的應(yīng)用范圍。在

5、Lookingatpeople應(yīng)用中，手勢姿態(tài)分析主要研究內(nèi)容是分析用手勢表達的符號語言(如手語字符)的意義。 本文進行的研究將Lookingatpeople的方法應(yīng)用于分析人的手勢姿態(tài)，進而完成多手指、多關(guān)節(jié)機械靈巧手的操作控制。這是一個交叉研究領(lǐng)域，涉及到計算機立體視覺、圖像處理和機器人學(xué)等學(xué)科。 系統(tǒng)的特點是采用根據(jù)任務(wù)建模的方式而不是預(yù)先規(guī)定的命令姿態(tài)進行控制。由操作者觀察被操作對象的表面形態(tài)、方位，作出動作決策

6、(抓取物體的手勢姿態(tài))，攝像機從不同角度“觀察”人的手勢，經(jīng)過圖像分析，信息合成，得到三維空間中手的姿態(tài)信息，然后利用人手和機械手結(jié)構(gòu)上的異、同點，將人手的姿態(tài)轉(zhuǎn)變成機械手可執(zhí)行的動作姿態(tài)。 研究主要完成了下列工作：(1)根據(jù)人手的生理結(jié)構(gòu)特點，設(shè)計了適合于具有小幅度運動的非剛性構(gòu)架上特征點的搜索、排序方法，可以迅速、準(zhǔn)確地將攝像機拍攝的處于任意空間方位姿態(tài)下的手的姿態(tài)圖像上的各關(guān)節(jié)點(含手腕和指尖)，按手指的歸屬重新排序，這些

7、點在圖像采集、處理過程中，是按從上到下或從下到上的掃描順序排列的。按預(yù)定順序連接這些點，可以用線條方式重構(gòu)出在二維或三維空間中的手勢姿態(tài)。 (2)圖像對中對應(yīng)特征點的正確匹配，是立體視覺中恢復(fù)點的三維信息的最重要的步驟之一。本文根據(jù)拍攝圖像的特殊性，設(shè)計了一種簡潔、有效的點的匹配方法，利用上述重新排序算法，對不同攝像機拍攝的各圖像采用相同的規(guī)則排列特征點的順序，這樣在解決了特征點的位置歸屬問題同時，也解決了圖像對上對應(yīng)點的匹配問

8、題。 (3)在計算機視覺的最新理論研究成果——Lumigraph理論基礎(chǔ)上，研究設(shè)計了簡易有效的點的三維坐標(biāo)計算方法。攝像機不用事先進行標(biāo)定，也不用計算攝像機的投影矩陣，點的三維坐標(biāo)計算與攝像機的內(nèi)外參數(shù)及攝像機系統(tǒng)中各攝像機之間的相互位置無關(guān)，因此特別適用于多目視覺系統(tǒng)。系統(tǒng)中攝像機的數(shù)量可以很方便地進行增減，根據(jù)具體情況進行系統(tǒng)中攝像機的匹配。 (4)人手和被控制的機械靈巧手是形似的，但是其各關(guān)節(jié)自由度的數(shù)量、關(guān)節(jié)數(shù)

9、卻有所差異，而且人手的大小也因人而異，不能直接進行關(guān)節(jié)姿態(tài)映射。在對比分析了人手生理結(jié)構(gòu)和機械靈巧手的機械結(jié)構(gòu)的基礎(chǔ)上，總結(jié)了人手和機械靈巧手在抓取物體時的共同點和不同點，設(shè)計了指尖位置映射的控制方式，將人手進行抓取時的指尖空間位置，映射為機械靈巧手坐標(biāo)系中的空間位置，通過機械手的逆運動學(xué)方程，求出滿足運動約束條件的解。整個系統(tǒng)以人手在三維空間中的動作圖像作為輸入，以機械手的模仿動作數(shù)據(jù)作為輸出。實現(xiàn)了用LookingatPeople的

10、方法，將人手姿態(tài)轉(zhuǎn)換為機械靈巧手動作姿態(tài)的動作控制過程。 研究采用的方法計算量小，算法簡單易行，可以滿足機械靈巧手的實時控制要求。系統(tǒng)中所用的手套僅作為放置標(biāo)記點的載體，因而不需要進行手套的標(biāo)定；手套不與計算機相連，使人的手的動作比較自由，在攝像機監(jiān)視范圍以外，手可以自由動作，不影響機械靈巧手的控制。系統(tǒng)中的攝像機不需要進行復(fù)雜的標(biāo)定；操作人員的手的大小和抓取姿態(tài)對算法執(zhí)行和姿態(tài)分析沒有影響，對抓取姿態(tài)沒有特殊的規(guī)定。系統(tǒng)采用的