基于完全加權關聯(lián)規(guī)則挖掘的查詢擴展研究.pdf

1、在當今信息爆炸時代，信息過量成為人人面對的問題，如何從信息的汪洋大海中高效、準確地查找到所需要的信息一直是信息檢索研究的熱點之一。然而，目前大部分搜索引擎等web 信息檢索系統(tǒng)依賴于布爾查詢技術和基于關鍵詞機械式的符號匹配，使得人們查詢信息時出現(xiàn)難以克服的問題，即信息迷向、信息過載和詞不匹配等，致使信息檢索系統(tǒng)的查全率和查準率低下。針對這些問題，查詢擴展應運而生，并得到蓬勃發(fā)展，被國內(nèi)外專家學者的廣泛關注和研究。不同的學者從不同的角度提

2、出了各種查詢擴展模型，然而都沒有最終解決查全率和查準率問題，更沒有從根本上消除用戶查詢意圖與檢索結(jié)果之間的語義偏差和查詢詞的歧義問題。 在分析傳統(tǒng)查詢擴展算法不足的基礎上，將關聯(lián)規(guī)則挖掘技術和查詢擴展結(jié)合起來研究，提出基于完全加權關聯(lián)規(guī)則挖掘的查詢擴展算法，取得了一些可喜的研究成果。具體的研究主題包括完全加權關聯(lián)規(guī)則挖掘算法及其在查詢擴展中的應用兩個方面，分別在完全加權關聯(lián)規(guī)則挖掘算法、基于完全加權關聯(lián)規(guī)則挖掘的局部反饋查詢擴展

3、以及基于用戶點擊瀏覽行為和完全加權關聯(lián)規(guī)則挖掘的相關反饋查詢擴展等三點進行研究和探討。主要研究工作如下： （1）深入研究和分析現(xiàn)有的關聯(lián)規(guī)則挖掘、加權關聯(lián)規(guī)則挖掘、項完全加權關聯(lián)規(guī)則挖掘和查詢擴展等算法的特點及其不足，并系統(tǒng)地綜述了查詢擴展的研究進展。 （2）在深入研究現(xiàn)有完全加權關聯(lián)規(guī)則挖掘算法的特點和局限性的基礎上，提出基于三次剪枝的完全加權關聯(lián)規(guī)則挖掘算法（即MAWAR 算法），給出與其相關的定理及其證明過程。該算

4、法采用三種剪枝策略，候選項集數(shù)量和挖掘時間明顯減少，提高了挖掘效率。實驗結(jié)果表明該算法的有效性，和現(xiàn)有算法比較，挖掘效率確實得到改善和提高。 （3）將關聯(lián)規(guī)則挖掘技術和查詢擴展結(jié)合起來研究，提出基于完全加權關聯(lián)規(guī)則挖掘的局部反饋查詢擴展算法。該算法利用本文的MAWAR 算法，自動從局部反饋的前列初檢文檔中挖掘與原查詢相關的完全加權關聯(lián)規(guī)則，構建規(guī)則庫，從規(guī)則庫中提取與原查詢相關的擴展詞，實現(xiàn)查詢擴展。實驗結(jié)果表明該查詢擴展算法的

5、檢索性能確實得到了很好的改善和提高。 （4）在基于完全加權關聯(lián)規(guī)則挖掘的局部反饋查詢擴展算法中，提出一種新的擴展詞權重的計算方法，使擴展詞的權值更合理；提出基于四次剪枝的挖掘策略，使挖掘效率極大地提高，實驗結(jié)果表明其挖掘時間比原來的平均減少87.84％。 （5）通過實驗研究完全加權關聯(lián)規(guī)則支持度、置信度及擴展詞數(shù)量對查詢擴展檢索性能的影響。實驗結(jié)果表明查詢擴展的檢索性能是受多方面因素綜合影響的，并不是單一地只受某一因素影

6、響。 （6）為了更好的將關聯(lián)規(guī)則挖掘技術應用于查詢擴展，發(fā)現(xiàn)一些優(yōu)秀的查詢擴展模型，本文歸納出4 類共13 種基于完全加權詞間關聯(lián)規(guī)則挖掘的查詢擴展模型，通過實驗分析比較各種擴展模型的檢索性能，從中發(fā)現(xiàn)一些較優(yōu)的模型。 （7）針對現(xiàn)有基于局部反饋和用戶相關反饋的查詢擴展缺陷，提出基于用戶點擊瀏覽行為和完全加權關聯(lián)規(guī)則挖掘的相關反饋查詢擴展算法，設計相應的查詢擴展檢索系統(tǒng)。該系統(tǒng)在不改變用戶查詢習慣的情況下，根據(jù)用戶點擊瀏

7、覽文檔的時間長短或者是否進行下載操作等查詢行為，判斷該文檔是否與用戶查詢意圖相關，或者是用戶感興趣的。算法能自動對相關的文檔進行完全加權關聯(lián)規(guī)則挖掘，構造規(guī)則庫，從規(guī)則庫中提取與原查詢相關的語詞作為擴展詞，實現(xiàn)查詢擴展。實驗結(jié)果表明該算法的有效性，其檢索性能有了明顯的提高。 （8）設計和實現(xiàn)查詢擴展原型系統(tǒng)，研究如何實現(xiàn)查詢擴展原型系統(tǒng)及其數(shù)據(jù)結(jié)構、主要模型和具體的實現(xiàn)代碼等等。利用所設計的查詢擴展原型系統(tǒng)進行相關的實驗，評估本