基于語言模型的網(wǎng)頁排序問題研究.pdf

1、排序問題是信息檢索領(lǐng)域的核心問題,多年來一直是信息檢索領(lǐng)域研究的熱點。Web是當(dāng)今最大的非結(jié)構(gòu)化數(shù)據(jù)集合,如何排序web文檔必然成為了信息檢索領(lǐng)域研究的焦點所在。而語言模型建立在完善的統(tǒng)計理論基礎(chǔ)之上,可以采用統(tǒng)計學(xué)方法便捷的進行模型參數(shù)估計,同時能夠很好的適用于各種復(fù)雜的檢索問題。作為處理網(wǎng)頁檢索問題的性能最好的非監(jiān)督方法之一,在引入到信息檢索領(lǐng)域之后,就得到了大量學(xué)者的重視和研究。近些年來,基于語言模型的方法逐漸形成了一套完整的檢索

2、模型體系。經(jīng)典語言模型在處理網(wǎng)頁排序問題時,存在著對查詢單詞之間的關(guān)聯(lián)考慮不足、進行未見詞平滑時對數(shù)據(jù)的層次沒有加以更好的利用以及對于文檔先驗概率的忽視三個方面的問題。本文由語言模型中文檔查詢似然概率、未見詞平滑算法和文檔先驗概率這三個方面入手,探討了其中的一些改進。
　　 本文由基于貝葉斯風(fēng)險最小化理論得出的相似性公式為出發(fā)點,以查詢產(chǎn)生每個單詞及元組的概率不同為假設(shè),提出了考慮查詢單詞之間多個元組共同出現(xiàn)的概率分布的方法建立

3、查詢模型。并且,在此模型基礎(chǔ)之上,提出了基于多元組的文檔-查詢相似度算法。同時,考慮了算法實現(xiàn)的可能性和可用性,給出了一個切合實際的算法,并且用實驗驗證了算法的有效性。本文在實驗結(jié)果中,分析了該算法的引入所帶來性能提升的主要因為,總結(jié)了該算法本身的優(yōu)劣。
　　 同時,本文探討了互聯(lián)網(wǎng)數(shù)據(jù)本身的結(jié)構(gòu)特性和層次特征,即互聯(lián)網(wǎng)本身是由文檔、目錄、站點、整個互聯(lián)網(wǎng)這四個層次逐層組成的有機結(jié)構(gòu)。本文在此基礎(chǔ)上,提出了一種基于這四個層次數(shù)據(jù)

4、來進行語言模型中未見詞平滑的算法。同時,本文考慮了多層次算法實現(xiàn)細(xì)節(jié)和數(shù)據(jù)結(jié)構(gòu)相關(guān)內(nèi)容,并且用實驗驗證了多層平滑算法由于加入了更多的層級信息,給平滑帶來了一定程度的性能提升。
　　 與以往的工作不同,本文將文檔的先驗概率視為語言模型非常重要的一部分,本文通過探討多種文檔先驗概率知識和文檔相關(guān)性之間的相關(guān)關(guān)系來說明,很多與文檔和查詢內(nèi)容無關(guān)的先驗知識可以用于排序之中。同時,本文嘗試了使用樸素貝葉斯方法來進行多種先驗知識的融合,并對