畢業(yè)答辯基于機(jī)器視覺的貼片電阻字符缺陷檢測模塊的設(shè)計(jì)與實(shí)現(xiàn)

1、,,,MOEMIL,答辯人：王祥舟,2015年04月23日,畢設(shè)結(jié)題答辯,,,MOEMIL,基于機(jī)器視覺的貼片電阻字符缺陷檢測模塊的設(shè)計(jì)與實(shí)現(xiàn),,,MOEMIL,目 錄,背景介紹,算法流程,實(shí)驗(yàn)結(jié)果,后期計(jì)劃,創(chuàng)新點(diǎn),,,MOEMIL,背景介紹,,,MOEMIL,背景介紹,,貼片電阻多應(yīng)用于集成芯片中，其具有體積小、重量輕、安裝密度高，抗震性強(qiáng)，抗干擾能力強(qiáng)，高頻特性好等優(yōu)點(diǎn)，廣泛使用在計(jì)算機(jī)、手機(jī)、電子辭典、醫(yī)療電子產(chǎn)品、攝錄機(jī)、電子

2、電度表及VCD機(jī)等中。目前貼片電阻主要大量應(yīng)用在小型集成電路中。中國是貼片電阻生產(chǎn)的大國，在2008年中國的電阻器產(chǎn)量達(dá)到7080億只，占全球總供應(yīng)量的30%。目前，中國貼片式電阻占到電阻器總產(chǎn)量的85%。 貼片電阻的生產(chǎn)過程中的質(zhì)量檢測是目前亟需解決的難題，而質(zhì)量檢測中關(guān)鍵的一項(xiàng)為貼片電阻的字符缺陷檢測。,,,MOEMIL,背景介紹,,一張電阻片長度和寬度大概在5cm到6cm之間。每張電阻片上少則800多個(gè)電阻，多則30

3、00多個(gè)電阻，每一個(gè)電阻的大小約在0.1mm量級，電阻字符大小約在0.1～0.01mm量級，電阻數(shù)量多且十分小，人工檢測難度十分大。 傳統(tǒng)的貼片電阻字符檢測方式一般是工人用顯微鏡觀察來檢測字符，這種方法檢測效率較低，并且人眼易疲勞，出錯(cuò)率較高。并且不能保證實(shí)時(shí)檢測，往往是同一批產(chǎn)品生產(chǎn)結(jié)束后進(jìn)行抽檢，如果出現(xiàn)大面積的缺陷，則該批次產(chǎn)品次品率較高。這些不足都影響產(chǎn)品的生產(chǎn)周期和成品率。,,,MOEMIL,背景介紹,,機(jī)器視覺

4、在工業(yè)中的應(yīng)用越來越廣泛。例如大規(guī)模集成電路生產(chǎn)線上自動連接引線，對準(zhǔn)芯片和封裝；工業(yè)產(chǎn)品的成品質(zhì)量檢測：如液晶屏缺陷檢測、火花塞缺陷檢測；紡織印刷的自動分色和染色也需要機(jī)器視覺。基于機(jī)器視覺的缺陷檢測將人從單一枯燥的產(chǎn)品缺陷檢測中釋放出來，對于生產(chǎn)商則省去了人力成本，加快了產(chǎn)品的生產(chǎn)周期。 考慮到上述問題，本文所做的主要工作是設(shè)計(jì)機(jī)器視覺模塊代替人工檢測，在保證檢測精度的同時(shí)，加快檢測速度，提高檢測效率，達(dá)到在生產(chǎn)線上

5、實(shí)時(shí)檢測的要求。,,,MOEMIL,背景介紹,,該論文實(shí)現(xiàn)的基于機(jī)器視覺的貼片電阻字符缺陷檢測識別模塊，采用工業(yè)相機(jī)批量對貼片電阻片采圖，實(shí)時(shí)在線檢測貼片電阻片的多種缺陷，并對缺陷區(qū)域進(jìn)行標(biāo)記，檢測速度達(dá)到實(shí)時(shí)的要求。機(jī)器視覺的實(shí)現(xiàn)省卻了人工檢測這一步，提高了檢測效率，加快了貼片電阻的生產(chǎn)速度，提高了貼片電阻生產(chǎn)的全自動化產(chǎn)線實(shí)現(xiàn)的可能性。,,,MOEMIL,背景介紹,,缺陷檢測類型：字符斷裂，字符污點(diǎn)，劃痕，字符粘連

6、 字符偏移，油墨過多,,,MOEMIL,算法流程,,,MOEMIL,算法流程,圖像預(yù)處理,單一電阻提取,單一字符提取,,,邊緣直線擬合,圖像旋轉(zhuǎn),電阻片印刷偏移缺陷,投影法,頂帽變換,連接型,非連接型,提取方法,單一電阻缺陷檢測,油墨污漬,二值化,字符偏移,投影法,字符偏移,字符粘連,字符污點(diǎn),,,,,,,,,,,,字符亮暗,二值化,字符高寬,字符填充,骨架匹配,字符缺失,字符內(nèi)部填充,,,,,

7、,多線程,openmp加速,,,MOEMIL,算法流程,,(1)旋轉(zhuǎn)校正： ①圖像從邊緣開始尋找梯度變化的點(diǎn) ②直線擬合：獲得電阻片邊緣直線 ③計(jì)算偏移角度，旋轉(zhuǎn)校正（雙線性插值）(2)檢測電阻片整體偏移：方法與旋轉(zhuǎn)校正相同，不同在于尋找的邊緣為第二條 邊緣，

8、計(jì)算偏移角度。(3)單個(gè)電阻提取：①反向二值化（刪除黑色背景） ②投影法 + 標(biāo)定連通區(qū)域（求每個(gè)電阻片的外接矩形） ①頂帽變換 ②二值化+閉運(yùn)算+標(biāo)定連通區(qū)域,,,MOEMIL,算法流

9、程,,(1)旋轉(zhuǎn)校正： ①圖像從邊緣開始尋找梯度變化的點(diǎn) ②直線擬合：獲得電阻片邊緣直線 ③計(jì)算偏移角度，旋轉(zhuǎn)校正（雙線性插值）,,,MOEMIL,算法流程,,①旋轉(zhuǎn)90°,,,MOEMIL,算法流程,,①降采樣+邊緣直線,,,MOEMIL,算法流程,,②邊緣直線擬合,,,MOEMIL,算法流程,,③旋轉(zhuǎn)校正,,,MOEMIL,算法流程

10、,,(2)檢測電阻片整體偏移：方法與旋轉(zhuǎn)校正相同，不同在于尋找的邊緣為第二條 邊緣，計(jì)算偏移角度。,,,MOEMIL,HOG,,,,MOEMIL,算法流程,,(3)單個(gè)電阻提?。和队胺ǎǚ沁B接型）,,,MOEMIL,HOG,,,,MOEMIL,HOG,,,,MOEMIL,HOG,,,,MOEMIL,算法流程,,(3)單個(gè)電阻提?。和队胺ǎㄟB接型）,,,MO

11、EMIL,題目介紹,,,,MOEMIL,題目介紹,,,,MOEMIL,題目介紹,,,,MOEMIL,題目介紹,,,,MOEMIL,題目介紹,,,,MOEMIL,算法流程,,(3)單個(gè)電阻提?。喉斆弊儞Q,,,MOEMIL,HOG,,,,MOEMIL,HOG,,,,MOEMIL,HOG,,,,MOEMIL,算法流程,,(4)單一電阻檢測：①截取原圖像中的電阻，檢測電阻正反 ②二值化

12、（計(jì)算字符區(qū)域面積占電阻的比例：油墨過多） ③閉運(yùn)算電阻圖像（連接斷裂字符） ④標(biāo)定連通區(qū)域（分割單個(gè)字符） ⑤計(jì)算字符區(qū)域距離電阻邊界的像素個(gè)數(shù)（缺陷檢測） ⑥計(jì)算字符區(qū)域平均灰度值，計(jì)算字符縫隙中

13、大于平均灰度 值的點(diǎn)的個(gè)數(shù)，判斷是否為字符粘連。 ⑦計(jì)算單個(gè)字符的平均灰度值（過亮或過暗） ⑧污點(diǎn)檢測：將字符區(qū)域涂白，標(biāo)定連通區(qū)域，檢測污點(diǎn)個(gè)數(shù)。

14、 檢測字符區(qū)域的高和寬，檢測是否有油污。,,,MOEMIL,算法流程,,(4)單一電阻檢測：①截取原圖像中的電阻，檢測電阻正反。,②電阻圖像二值化?！坝湍蹪n”缺陷：計(jì)算白點(diǎn)區(qū)域面積占整個(gè)電阻的比例，判斷油墨過多或過少。③閉運(yùn)算電阻圖像，連接斷裂字符④連通區(qū)域標(biāo)記，刪除小面積區(qū)域，去除噪聲,,,MOEMIL,算法流程,,(4)單一電阻檢測：④投影法分割電阻字符。,“字符偏移”缺陷：字符分割結(jié)束后，獲得字符區(qū)域的起點(diǎn)、高度和寬

15、度。 由此判斷字符距離電阻邊界的距離?！白址麢M線”缺陷：計(jì)算橫線的長度，與標(biāo)準(zhǔn)對比。,,,MOEMIL,算法流程,,(4)單一電阻檢測：“字符粘連”缺陷：計(jì)算整個(gè)電阻區(qū)域的平均灰度值，統(tǒng)計(jì)字符縫隙之間灰度值大于平均值 的“缺陷點(diǎn)”個(gè)數(shù)。,“字符污點(diǎn)”缺陷：將電阻區(qū)域灰度值設(shè)置為255后二值化，計(jì)算連通區(qū)域，統(tǒng)計(jì)每個(gè)區(qū)域

16、 的面積，刪除小面積區(qū)域(去除噪聲影響)，若連通區(qū)域大于1，則說明 在字符區(qū)域外側(cè)有白色油墨。,,,MOEMIL,算法流程,,(5)電阻字符檢測：“字符過亮/過暗”缺陷：計(jì)算每個(gè)字符的平均灰度值。,①二值化“字符高度/寬度”缺陷：將字符的高度、寬度與骨架模板高度和寬度比對。,,,MOEMIL,算法流程,,(5)電阻字符檢測

17、：②字符處理：若字符本身是斷裂的則先進(jìn)行閉運(yùn)算。③骨架匹配：將骨架放置在字符中心，計(jì)算匹配像素點(diǎn)的個(gè)數(shù)占骨架總像素點(diǎn)的比例。,,,MOEMIL,算法流程,,(5)電阻字符檢測： “字符填充”缺陷檢測：檢測“6”字符上部是否填充。“字符內(nèi)部填充”缺陷檢測： 檢測“6”字符內(nèi)部是否填充。,,,MOEMIL,實(shí)驗(yàn)結(jié)果,,,MOEMIL,實(shí)驗(yàn)結(jié)果,,①檢測精度： 在已有型號的電阻片缺陷中，該

18、模塊可以實(shí)現(xiàn)單片電阻字符缺陷漏檢個(gè)數(shù)少于5個(gè)，誤檢個(gè)數(shù)少于3個(gè)。（即使是字符個(gè)數(shù)最多，字符面積最小的“69c”、“821”電阻）。,,,MOEMIL,實(shí)驗(yàn)結(jié)果,,②檢測時(shí)間： 實(shí)際檢測中，我們對多種類型的電阻片進(jìn)行檢測，每一種電阻重復(fù)檢測3000次左右，耗時(shí)最長的電阻片僅需要2s左右即可完成檢測，耗時(shí)最短的電阻1.2s即可完成檢測。,,,MOEMIL,創(chuàng)新點(diǎn),,,MOEMIL,創(chuàng)新點(diǎn),,創(chuàng)新點(diǎn)：①使用4面陣相機(jī)采圖，每個(gè)相機(jī)采集

19、電阻片1/4區(qū)域，采用多線程 同時(shí)工作和openmp加速，加快處理速度，現(xiàn)在每片電阻片檢測 時(shí)間最大為2秒左右。 ②模板匹配：采用的方法為骨架匹配，減少了傳統(tǒng)模板匹配的誤差。 ③缺陷檢測種類豐富，可對多種常見貼片電阻缺陷進(jìn)行檢測。,,,MOEMIL,后期計(jì)劃,,,MOEMIL,后期計(jì)劃,,①對多

20、種型號的電阻建立數(shù)據(jù)庫，保存每種型號電阻的最佳參數(shù)和模板。②使用“頂帽變換法”代替“投影法”，采取GPU加速，進(jìn)一步加快算法流程的檢測速度,,,MOEMIL,致謝,,致謝 我要感謝我的論文指導(dǎo)老師劉霖老師、劉娟秀老師和張靜老師，尤其要感謝張靜老師對我進(jìn)行了無私的指導(dǎo)和幫助，不厭其煩的幫助進(jìn)行論文的修改和改進(jìn)。  感謝三位答辯老師。由于我的學(xué)術(shù)水平有限，論文有許多不足之處，感謝各位老師對我的指導(dǎo)