圖像特征和語(yǔ)義分析方法的研究.pdf

1、由于人力勞動(dòng)成本的上升和對(duì)生產(chǎn)效率要求的提高，增加制造或測(cè)試系統(tǒng)中的自動(dòng)化環(huán)節(jié)成為工業(yè)發(fā)展的一個(gè)趨勢(shì)，越來(lái)越多的企業(yè)利用智能機(jī)械裝置對(duì)工業(yè)設(shè)備中的硬件或軟件進(jìn)行自動(dòng)化操控。工業(yè)中產(chǎn)品在投入使用前需要用軟件對(duì)其進(jìn)行大量的功能模擬、性能測(cè)試和結(jié)果分析，實(shí)現(xiàn)對(duì)軟件的自動(dòng)化控制可以降低勞動(dòng)強(qiáng)度和成本、提高生產(chǎn)率和產(chǎn)品質(zhì)量，但目前還未出現(xiàn)能替代人工操作的智能機(jī)械化裝置。基于計(jì)算機(jī)視覺的軟件自動(dòng)化控制逐漸成為一個(gè)重要的研究方向。其主要思想是通過獲取

2、和分析顯示屏上的圖像，并根據(jù)分析得到的結(jié)果，以及需要完成的任務(wù)（如響應(yīng)命令、響應(yīng)異常、記錄異常狀態(tài)等）自動(dòng)規(guī)劃操作路徑，再用機(jī)械裝置（常見的如機(jī)械臂等）輔助自動(dòng)完成操作。本文研究了這個(gè)過程中軟件模型建立、對(duì)采集的圖像進(jìn)行特征和語(yǔ)義分析以及路徑構(gòu)造三個(gè)部分，主要工作和創(chuàng)新之處如下：
　　1、提出了雙層語(yǔ)義模型。雙層語(yǔ)義模型有視圖層和操作層兩層，可以較為全面的描述GUI系統(tǒng)。視圖層主要描述GUI系統(tǒng)的視覺特點(diǎn)，操作層主要描述GUI系統(tǒng)

3、的操作特性，通過定義不同的描述子對(duì)模型中的元素進(jìn)行描述，結(jié)構(gòu)清晰。實(shí)驗(yàn)中用三類方法分別進(jìn)行建模，比較發(fā)現(xiàn)雙層語(yǔ)義模型可以避免有限狀態(tài)機(jī)模型出現(xiàn)的“狀態(tài)爆炸”和事件流模型出現(xiàn)的無(wú)法描述多觸發(fā)事件的問題。
　　2、提出了基于圖文聯(lián)合特征的GUI圖像識(shí)別方法。GUI圖像分析是對(duì)GUI圖像進(jìn)行特征提取和識(shí)別的過程。針對(duì)測(cè)試類軟件GUI圖像包含文本和圖標(biāo)這個(gè)明顯特點(diǎn)，首先基于圖像處理的基本方法設(shè)計(jì)了基于連通域和色塊的圖標(biāo)和文本分割方法以及基

4、于主成分分析的圖標(biāo)識(shí)別方法，通過實(shí)驗(yàn)證明了其有效性和合理性。其次，將TF-IDF權(quán)值計(jì)算方法應(yīng)用到圖標(biāo)中，定義了圖標(biāo)的TF和IDF值的含義。用文字和圖標(biāo)的 TF-IDF值組成聯(lián)合向量作為界面圖像的代數(shù)特征為識(shí)別提供依據(jù)。實(shí)驗(yàn)表明基于圖文聯(lián)合特征的GUI圖像識(shí)別率較高。
　　3、提出了基于雙層語(yǔ)義模型的路徑生成方法。由于視圖層的拓?fù)浣Y(jié)構(gòu)是有向圖，因此先使用最短路徑生成方法生成界面路徑。再根據(jù)模型上下兩層之間包含關(guān)系進(jìn)行映射，生成操作