海量圖片去重算法研究.pdf

1、隨著網(wǎng)絡(luò)時代的發(fā)展，人們對信息資源掌握的增多，導(dǎo)致需要存儲的數(shù)據(jù)量以幾何級數(shù)在增長，網(wǎng)絡(luò)帶寬的不足、存儲資源的緊缺以及等等諸多問題隨之而來。解決這些問題的有效手段是清除重復(fù)數(shù)據(jù)，保證數(shù)據(jù)不存在冗余。而圖片作為眾多數(shù)據(jù)中的一種，經(jīng)常出現(xiàn)在手機、網(wǎng)頁這些人們?nèi)粘Ｊ褂玫墓ぞ弋?dāng)中，其量級之大給存儲設(shè)備帶來極大的困擾。
　　常用的清除重復(fù)數(shù)據(jù)的方法有文件級去重技術(shù)和塊級去重技術(shù)，但是由于圖片存在不易修改的特性，若采用文件級進行去重，耗時長、

2、對系統(tǒng)性能損耗嚴重;又因為圖片具有任意性，若采用塊級進行去重，塊的大小無法準(zhǔn)確的適應(yīng)每種圖片，容易出現(xiàn)刪除錯誤等嚴重問題。所以建立一種簡單有效的圖片重復(fù)刪除技術(shù)成為科研人員的研究重點。本文提出了一種能夠高效對海量圖片進行去重的算法，該算法主要利用圖片本身固有特征判斷重復(fù)。利用圖片本身特征能夠克服塊級去重時由于塊大小無法適應(yīng)所有圖片導(dǎo)致其刪除錯誤等問題，同時采用并行化計算及快速定位重復(fù)方法能夠克服文件級去重時耗時長等問題。
　　本論

3、文首先介紹了清除重復(fù)數(shù)據(jù)的研究背景及意義，對常用的清除重復(fù)數(shù)據(jù)的技術(shù)進行了簡介。由于這些方法對重復(fù)圖片刪除有一定的局限性，而本論文提出的方法主要利用圖片本身特征，為了準(zhǔn)確、高效的提取圖片特征，對常用的圖片特征進行了描述。其次，根據(jù)提取的特征，建立了多特征綜合圖片離線去重算法，通過對該算法的兩次改進，使得其在單機i5處理器條件下處理500萬級圖片量時僅需要10分鐘左右。然后，根據(jù)多特征綜合離線去重算法的思路，提出了多特征綜合圖片在線去重算