蘋(píng)果采摘機(jī)器人視覺(jué)測(cè)量與避障控制研究.pdf

1、蘋(píng)果采摘機(jī)器人是一種具有感知識(shí)別能力，能夠自動(dòng)完成蘋(píng)果果實(shí)采摘等作業(yè)任務(wù)的智能機(jī)械收獲系統(tǒng)，其作用在于可以降低采摘?jiǎng)趧?dòng)強(qiáng)度和生產(chǎn)費(fèi)用、提高作業(yè)效率和產(chǎn)品質(zhì)量、保證果實(shí)適時(shí)采摘，因此對(duì)其相關(guān)技術(shù)研究具有重大現(xiàn)實(shí)意義。我國(guó)對(duì)采摘機(jī)器人的研究起步較晚，由于采摘環(huán)境的非結(jié)構(gòu)性和采摘對(duì)象的復(fù)雜性，其采摘自動(dòng)化程度仍然很低;且隨著人口老齡化和農(nóng)業(yè)勞動(dòng)力的減少，農(nóng)業(yè)生產(chǎn)成本相應(yīng)提高，市場(chǎng)競(jìng)爭(zhēng)力減弱，實(shí)現(xiàn)果實(shí)的自動(dòng)化采摘成為一個(gè)急需解決的問(wèn)題。針對(duì)這一

2、問(wèn)題，本文在國(guó)家“863”基金項(xiàng)目“果樹(shù)采摘機(jī)器人關(guān)鍵技術(shù)研究（2006AA10Z254）”和國(guó)家教育部博士點(diǎn)基金項(xiàng)目“果樹(shù)采摘機(jī)械手運(yùn)動(dòng)性能優(yōu)化與靈巧避障控制策略研究(20093227120013)”的資助下，對(duì)蘋(píng)果采摘機(jī)器人動(dòng)靜態(tài)果實(shí)及采摘過(guò)程中枝干障礙的視覺(jué)測(cè)量和避障控制問(wèn)題進(jìn)行了研究，主要內(nèi)容如下:
　　 1、根據(jù)開(kāi)放性設(shè)計(jì)原則，以視覺(jué)系統(tǒng)、感知系統(tǒng)、交流伺服系統(tǒng)和控制系統(tǒng)四個(gè)方面構(gòu)建了蘋(píng)果采摘機(jī)器人的系統(tǒng)結(jié)構(gòu)，其中視覺(jué)

3、和感知系統(tǒng)用來(lái)感知識(shí)別采摘目標(biāo)及采摘環(huán)境;交流伺服系統(tǒng)和控制系統(tǒng)用來(lái)負(fù)責(zé)驅(qū)動(dòng)機(jī)械機(jī)構(gòu)安全順利地采摘果實(shí)。這些都為其后續(xù)視覺(jué)測(cè)量和避障控制提供硬件支持和研究基礎(chǔ)。
　　 2、介紹了所采用的動(dòng)靜態(tài)圖像的采集方法;對(duì)所采集的蘋(píng)果圖像進(jìn)行特征分析，以受光線和生長(zhǎng)狀態(tài)的不同將其分類;對(duì)圖像中的果實(shí)、綠葉、枝干和天空在RGB、XYZ、Lab、HIS、I1I2I3顏色空間下基于不同顏色特征進(jìn)行了統(tǒng)計(jì)，從中可以看出圖像中果實(shí)、綠葉、枝干和天空的

4、顏色差異，從而為后續(xù)基于顏色特征的圖像分割提供依據(jù)和奠定基礎(chǔ)。
　　 3、研究自然環(huán)境下靜態(tài)蘋(píng)果果實(shí)的識(shí)別方法。基于顏色特征在不同的顏色空間下比較不同的蘋(píng)果圖像分割方法，通過(guò)綜合比較確定基于I1I2I3顏色空間下以I2為顏色特征的OTSU動(dòng)態(tài)閾值分割方法;對(duì)分割后的圖像進(jìn)行圖像完善及噪聲去除;建立蘋(píng)果果實(shí)輪廓模型，通過(guò)邊緣檢測(cè)和改進(jìn)的隨機(jī)Hough變換方法對(duì)其進(jìn)行識(shí)別，其中以邊緣細(xì)化和邊緣連接解決邊緣檢測(cè)中邊緣不夠精細(xì)和邊緣斷裂

5、的情形，而對(duì)于重疊和被枝葉嚴(yán)重遮擋的蘋(píng)果果實(shí)，在識(shí)別前分別對(duì)其進(jìn)行分離和遮擋修復(fù);最后進(jìn)行了蘋(píng)果果實(shí)的識(shí)別試驗(yàn)。試驗(yàn)結(jié)果表明:對(duì)于分離無(wú)遮擋和重疊蘋(píng)果果實(shí)的識(shí)別，所述方法識(shí)別率為100％，而對(duì)于被枝葉遮擋果實(shí)的識(shí)別率則高于85％;分離無(wú)遮擋蘋(píng)果果實(shí)圖像的平均識(shí)別時(shí)間為0.44s，重疊蘋(píng)果果實(shí)圖像的平均識(shí)別時(shí)間為0.72s，被枝葉嚴(yán)重遮擋蘋(píng)果果實(shí)圖像的平均識(shí)別時(shí)間為0.77s，能夠符合采摘機(jī)器人實(shí)時(shí)采摘的需求。此外，本章還研究了適用于蘋(píng)果

6、采摘機(jī)器人目標(biāo)果實(shí)的快速跟蹤識(shí)別方法。通過(guò)基于距離圖像中心最近原則來(lái)確定要采摘的目標(biāo)果實(shí);而后利用所采集圖像之間的信息關(guān)聯(lián)性，在不斷縮小圖像處理區(qū)域的同時(shí)，采用經(jīng)過(guò)加速的去均值歸一化積相關(guān)模板匹配算法來(lái)跟蹤識(shí)別后幀圖像的目標(biāo)果實(shí);最后進(jìn)行了不同灰度、亮度和對(duì)比度匹配識(shí)別以及新舊方法識(shí)別時(shí)間對(duì)比試驗(yàn)，驗(yàn)證了新方法的有效性。
　　 4、針對(duì)采摘機(jī)器人在快速采摘果實(shí)前，需要判別果實(shí)的狀態(tài)以采用相應(yīng)不同的采摘方法，進(jìn)行了果實(shí)狀態(tài)判別方法

7、的研究。首先圖像分割連續(xù)采集的果實(shí)圖像并從首幀分割圖像中以距離圖像中心最近原則確定采摘目標(biāo)果實(shí);然后引入幀間差法對(duì)分割后的兩幀果實(shí)圖像進(jìn)行差分，通過(guò)對(duì)差分圖像進(jìn)行連通數(shù)判別，對(duì)振蕩果實(shí)圖像進(jìn)行質(zhì)心坐標(biāo)匹配判別，最終確定目標(biāo)果實(shí)的狀態(tài);最后試驗(yàn)表明對(duì)采摘環(huán)境下所遇到的多數(shù)情況，所提出的算法是可行有效的，判別時(shí)間少于0.2s。動(dòng)態(tài)果實(shí)的識(shí)別采用經(jīng)過(guò)改進(jìn)具有抗旋轉(zhuǎn)性能的去均值歸一化積相關(guān)模板匹配識(shí)別算法，通過(guò)試驗(yàn)驗(yàn)證，改進(jìn)算法在[-55°60

8、°]較大范圍內(nèi)旋轉(zhuǎn)無(wú)關(guān)，可以準(zhǔn)確識(shí)別振蕩果實(shí)，此外加上模板適時(shí)更新，能夠滿足需求。在上述確定采摘果實(shí)為振蕩果實(shí)情況下，為解決由于果實(shí)振蕩影響采摘機(jī)器人采摘效率的問(wèn)題，提出了一種采摘機(jī)器人在果實(shí)振蕩狀況下的快速采摘方法。首先對(duì)連續(xù)采集圖像中振蕩果實(shí)的二維質(zhì)心坐標(biāo)FFT建模，求取果實(shí)的振蕩周期，在測(cè)得振蕩果實(shí)的深度距離后，計(jì)算出采摘機(jī)器人直動(dòng)關(guān)節(jié)的行程速度，隨即開(kāi)始采摘，抓取時(shí)果實(shí)正處于平衡位置;最后通過(guò)試驗(yàn)可知，采摘成功率達(dá)到84％，對(duì)于

9、果實(shí)靜態(tài)狀況下采摘速度較快的采摘機(jī)器人來(lái)說(shuō)，采摘振蕩果實(shí)，所研究方法明顯優(yōu)于以往采摘方法，能夠顯著提高采摘機(jī)器人果實(shí)采摘的整體速度。
　　 5、為了給蘋(píng)果采摘機(jī)器人自動(dòng)導(dǎo)航和采摘避障提供比較完善的環(huán)境信息，對(duì)其障礙感知識(shí)別進(jìn)行了研究。首先分析了障礙感知識(shí)別的工作流程;然后著重研究了蘋(píng)果采摘機(jī)器人的障礙識(shí)別——在討論比較中確定枝干障礙物最為有效的剝離分割方法，經(jīng)過(guò)形態(tài)學(xué)閉運(yùn)算和孔洞填充后，通過(guò)骨架化獲得枝干的骨架，并采用基于不同模

10、板的小分支去除方法進(jìn)行了修剪，最終提取出枝干障礙物的主要特征——中軸線;最后分別通過(guò)雙目和單目視覺(jué)實(shí)現(xiàn)對(duì)樹(shù)干和樹(shù)枝障礙的定位。試驗(yàn)結(jié)果表明:枝干障礙檢出率為95％，識(shí)別平均時(shí)間不足0.4s;雙目測(cè)距在500～1500mm范圍其誤差在20mm以內(nèi)，單目測(cè)距在250～400mm范圍其誤差在15mm以內(nèi)。
　　 6、在以上果實(shí)及障礙物位置信息確定的基礎(chǔ)上，將蘋(píng)果采摘機(jī)器人避障控制明確分為目標(biāo)搜索避障和目標(biāo)采摘避障兩個(gè)部分。設(shè)計(jì)了目標(biāo)搜

11、索避障路徑，結(jié)合蘋(píng)果采摘機(jī)器人小臂上的碰撞傳感器來(lái)有效感知外部障礙信息，安全搜尋目標(biāo)果實(shí)，避免損害設(shè)備。目標(biāo)采摘避障首先建立了蘋(píng)果采摘機(jī)器人的運(yùn)動(dòng)學(xué)模型，并對(duì)其進(jìn)行了仿真研究;將采摘環(huán)境的可能障礙物等效分類為點(diǎn)、圓和直線形障礙，并對(duì)其進(jìn)行相應(yīng)的C空間邊界特征建模及柵格化，使對(duì)機(jī)器人的控制直接作用于關(guān)節(jié);最后提出了基于樹(shù)形結(jié)構(gòu)的平滑方向優(yōu)先路徑規(guī)劃算法，實(shí)現(xiàn)了蘋(píng)果采摘機(jī)器人在C空間的局部避障路徑規(guī)劃。試驗(yàn)表明，該方法能夠順利避開(kāi)障礙物到達(dá)