面向大數(shù)據(jù)的關鍵字檢索算法研究及優(yōu)化.pdf

1、針對傳統(tǒng)檢索模型在檢索上存在的數(shù)據(jù)冗余、模糊匹配、檢索結果差等缺點，結合當前研究熱點，論述異構數(shù)據(jù)集成、冗余數(shù)據(jù)排除、高效數(shù)據(jù)分類、關鍵字檢索等模型與方法，旨在大數(shù)據(jù)環(huán)境下，充分利用傳統(tǒng)技術與虛擬化技術、Map-Reduce并行框架模型、改進向量空間檢索模型等技術相結合優(yōu)化存儲模型、改進分類算法以及優(yōu)化檢索算法，進而提高算法運算效率，為用戶提供一套集數(shù)據(jù)存儲、數(shù)據(jù)分類、數(shù)據(jù)檢索于一體的大數(shù)據(jù)檢索基礎平臺。
　　以關鍵字檢索算法作為

2、研究對象，主要研究內容為：
　　首先，為了更好地對數(shù)據(jù)檢索提供良好的數(shù)據(jù)存儲基礎，研究數(shù)據(jù)模型的設計與優(yōu)化，并在云計算環(huán)境下研討設計數(shù)據(jù)存儲模型，文件塊的數(shù)據(jù)更新算法設計，以及云存儲的故障恢復機制等。
　　第二，為了達到準確地對不同數(shù)據(jù)的檢索要求，在原有分類算法的基礎上提出了并行分類混合算法（PCHA算法），該算法利用鄰近分類算法適合處理屬性多、數(shù)據(jù)大的分類問題的優(yōu)勢，引入 Map-Reduce并行框架與其融合設計，優(yōu)化并提

3、升原有分類算法的建模預測能力和分類識別率。
　　第三，研討傳統(tǒng)檢索算法并提出無序關鍵字檢索算法（DKRA算法），該算法利用向量檢索模型計算方便、復雜度低等優(yōu)點，引入 K-D矩陣構造及相似度等計算方法設計檢索算法，并與計算關鍵字序列權重得到相關數(shù)據(jù)相似度的計算方法做比較，從而體現(xiàn)DKRA算法在計算效率上的優(yōu)勢。
　　最后，在 DKRA算法的基礎上提出了有序關鍵字檢索算法（OKRA算法），該算法利用檢索關鍵字的有序性，給出了關鍵