基于完全加權(quán)關(guān)聯(lián)規(guī)則挖掘的查詢擴(kuò)展研究.pdf

1、在當(dāng)今信息爆炸時(shí)代，信息過量成為人人面對(duì)的問題，如何從信息的汪洋大海中高效、準(zhǔn)確地查找到所需要的信息一直是信息檢索研究的熱點(diǎn)之一。然而，目前大部分搜索引擎等web 信息檢索系統(tǒng)依賴于布爾查詢技術(shù)和基于關(guān)鍵詞機(jī)械式的符號(hào)匹配，使得人們查詢信息時(shí)出現(xiàn)難以克服的問題，即信息迷向、信息過載和詞不匹配等，致使信息檢索系統(tǒng)的查全率和查準(zhǔn)率低下。針對(duì)這些問題，查詢擴(kuò)展應(yīng)運(yùn)而生，并得到蓬勃發(fā)展，被國(guó)內(nèi)外專家學(xué)者的廣泛關(guān)注和研究。不同的學(xué)者從不同的角度提

2、出了各種查詢擴(kuò)展模型，然而都沒有最終解決查全率和查準(zhǔn)率問題，更沒有從根本上消除用戶查詢意圖與檢索結(jié)果之間的語(yǔ)義偏差和查詢?cè)~的歧義問題。 在分析傳統(tǒng)查詢擴(kuò)展算法不足的基礎(chǔ)上，將關(guān)聯(lián)規(guī)則挖掘技術(shù)和查詢擴(kuò)展結(jié)合起來研究，提出基于完全加權(quán)關(guān)聯(lián)規(guī)則挖掘的查詢擴(kuò)展算法，取得了一些可喜的研究成果。具體的研究主題包括完全加權(quán)關(guān)聯(lián)規(guī)則挖掘算法及其在查詢擴(kuò)展中的應(yīng)用兩個(gè)方面，分別在完全加權(quán)關(guān)聯(lián)規(guī)則挖掘算法、基于完全加權(quán)關(guān)聯(lián)規(guī)則挖掘的局部反饋查詢擴(kuò)展

3、以及基于用戶點(diǎn)擊瀏覽行為和完全加權(quán)關(guān)聯(lián)規(guī)則挖掘的相關(guān)反饋查詢擴(kuò)展等三點(diǎn)進(jìn)行研究和探討。主要研究工作如下： （1）深入研究和分析現(xiàn)有的關(guān)聯(lián)規(guī)則挖掘、加權(quán)關(guān)聯(lián)規(guī)則挖掘、項(xiàng)完全加權(quán)關(guān)聯(lián)規(guī)則挖掘和查詢擴(kuò)展等算法的特點(diǎn)及其不足，并系統(tǒng)地綜述了查詢擴(kuò)展的研究進(jìn)展。 （2）在深入研究現(xiàn)有完全加權(quán)關(guān)聯(lián)規(guī)則挖掘算法的特點(diǎn)和局限性的基礎(chǔ)上，提出基于三次剪枝的完全加權(quán)關(guān)聯(lián)規(guī)則挖掘算法（即MAWAR 算法），給出與其相關(guān)的定理及其證明過程。該算

4、法采用三種剪枝策略，候選項(xiàng)集數(shù)量和挖掘時(shí)間明顯減少，提高了挖掘效率。實(shí)驗(yàn)結(jié)果表明該算法的有效性，和現(xiàn)有算法比較，挖掘效率確實(shí)得到改善和提高。 （3）將關(guān)聯(lián)規(guī)則挖掘技術(shù)和查詢擴(kuò)展結(jié)合起來研究，提出基于完全加權(quán)關(guān)聯(lián)規(guī)則挖掘的局部反饋查詢擴(kuò)展算法。該算法利用本文的MAWAR 算法，自動(dòng)從局部反饋的前列初檢文檔中挖掘與原查詢相關(guān)的完全加權(quán)關(guān)聯(lián)規(guī)則，構(gòu)建規(guī)則庫(kù)，從規(guī)則庫(kù)中提取與原查詢相關(guān)的擴(kuò)展詞，實(shí)現(xiàn)查詢擴(kuò)展。實(shí)驗(yàn)結(jié)果表明該查詢擴(kuò)展算法的

5、檢索性能確實(shí)得到了很好的改善和提高。 （4）在基于完全加權(quán)關(guān)聯(lián)規(guī)則挖掘的局部反饋查詢擴(kuò)展算法中，提出一種新的擴(kuò)展詞權(quán)重的計(jì)算方法，使擴(kuò)展詞的權(quán)值更合理；提出基于四次剪枝的挖掘策略，使挖掘效率極大地提高，實(shí)驗(yàn)結(jié)果表明其挖掘時(shí)間比原來的平均減少87.84％。 （5）通過實(shí)驗(yàn)研究完全加權(quán)關(guān)聯(lián)規(guī)則支持度、置信度及擴(kuò)展詞數(shù)量對(duì)查詢擴(kuò)展檢索性能的影響。實(shí)驗(yàn)結(jié)果表明查詢擴(kuò)展的檢索性能是受多方面因素綜合影響的，并不是單一地只受某一因素影

6、響。 （6）為了更好的將關(guān)聯(lián)規(guī)則挖掘技術(shù)應(yīng)用于查詢擴(kuò)展，發(fā)現(xiàn)一些優(yōu)秀的查詢擴(kuò)展模型，本文歸納出4 類共13 種基于完全加權(quán)詞間關(guān)聯(lián)規(guī)則挖掘的查詢擴(kuò)展模型，通過實(shí)驗(yàn)分析比較各種擴(kuò)展模型的檢索性能，從中發(fā)現(xiàn)一些較優(yōu)的模型。 （7）針對(duì)現(xiàn)有基于局部反饋和用戶相關(guān)反饋的查詢擴(kuò)展缺陷，提出基于用戶點(diǎn)擊瀏覽行為和完全加權(quán)關(guān)聯(lián)規(guī)則挖掘的相關(guān)反饋查詢擴(kuò)展算法，設(shè)計(jì)相應(yīng)的查詢擴(kuò)展檢索系統(tǒng)。該系統(tǒng)在不改變用戶查詢習(xí)慣的情況下，根據(jù)用戶點(diǎn)擊瀏

7、覽文檔的時(shí)間長(zhǎng)短或者是否進(jìn)行下載操作等查詢行為，判斷該文檔是否與用戶查詢意圖相關(guān)，或者是用戶感興趣的。算法能自動(dòng)對(duì)相關(guān)的文檔進(jìn)行完全加權(quán)關(guān)聯(lián)規(guī)則挖掘，構(gòu)造規(guī)則庫(kù)，從規(guī)則庫(kù)中提取與原查詢相關(guān)的語(yǔ)詞作為擴(kuò)展詞，實(shí)現(xiàn)查詢擴(kuò)展。實(shí)驗(yàn)結(jié)果表明該算法的有效性，其檢索性能有了明顯的提高。 （8）設(shè)計(jì)和實(shí)現(xiàn)查詢擴(kuò)展原型系統(tǒng)，研究如何實(shí)現(xiàn)查詢擴(kuò)展原型系統(tǒng)及其數(shù)據(jù)結(jié)構(gòu)、主要模型和具體的實(shí)現(xiàn)代碼等等。利用所設(shè)計(jì)的查詢擴(kuò)展原型系統(tǒng)進(jìn)行相關(guān)的實(shí)驗(yàn)，評(píng)估本