基于遷移學(xué)習(xí)理論的Markov檢索模型.pdf

1、在傳統(tǒng)的信息檢索中，檢索模型是在靜態(tài)數(shù)據(jù)集上訓(xùn)練得到的，模型一經(jīng)訓(xùn)練，結(jié)構(gòu)和參數(shù)都相對固定下來，沒有根據(jù)新的數(shù)據(jù)自動修正的機制。但現(xiàn)實中，Web上的信息是實時更新的，經(jīng)過一段時間訓(xùn)練好的模型往往會因為隨后新數(shù)據(jù)的加入而使得檢索性能明顯下降。為了解決這個問題，傳統(tǒng)的模型必須對新的數(shù)據(jù)重新進行學(xué)習(xí)，但在新的數(shù)據(jù)上重新訓(xùn)練一個模型需要耗費大量的時間，而且在舊數(shù)據(jù)上訓(xùn)練了很久的模型也因得不到利用而被浪費，因此，如何避免重新訓(xùn)練且很好地利用舊數(shù)據(jù)

2、在新的數(shù)據(jù)上進行檢索成為一個關(guān)鍵的遷移學(xué)習(xí)問題。
　　 在本文中，我們在傳統(tǒng)的基于Markov網(wǎng)絡(luò)的信息檢索模型基礎(chǔ)上提出一個基于遷移學(xué)習(xí)理論的Markov檢索模型（簡稱TLMR模型）。它利用Markov網(wǎng)絡(luò)在舊數(shù)據(jù)上建立信息檢索模型，由于Markov網(wǎng)絡(luò)能夠表示學(xué)習(xí)更新機制，可應(yīng)用新數(shù)據(jù)集來更新已有的Markov網(wǎng)絡(luò)，也即將已有的知識遷移到新的檢索模型中。在這篇文章中，我們通過計算新、舊數(shù)據(jù)中詞關(guān)系的Markov網(wǎng)絡(luò)之間的KL

3、距離來度量新、舊數(shù)據(jù)之間的關(guān)聯(lián)程度，利用它來估計遷移量參數(shù)。
　　 而且，在現(xiàn)實中Web上的信息并非只更新一次就不再變化，在舊數(shù)據(jù)上遷移一次得來的新模型，將其再次遷移到再次更新的數(shù)據(jù)上檢索性能是否仍然會好，這是值得探索的。在本工作中，我們將TLMR模型在多個數(shù)據(jù)集上進行多步遷移，以此來探討其適應(yīng)動態(tài)數(shù)據(jù)的能力。
　　 在TREC數(shù)據(jù)集上的單步與多步遷移實驗表明模型能很好地在多個數(shù)據(jù)集間遷移，多步遷移實驗也表明模型的學(xué)習(xí)能

4、力與學(xué)習(xí)順序無關(guān)。
　　 本文的工作和創(chuàng)新點在于：
　　 1.在目前將遷移學(xué)習(xí)理論研究只應(yīng)用于分類的情況下，將遷移學(xué)習(xí)理論用于信息檢索領(lǐng)域，將知識的遷移和有指導(dǎo)的遷移學(xué)習(xí)等思想成功應(yīng)用在基于Markov網(wǎng)絡(luò)的信息檢索模型中，利用在新舊數(shù)據(jù)上構(gòu)造的Markov網(wǎng)絡(luò)來進行知識的遷移。
　　 2.在遷移學(xué)習(xí)的基礎(chǔ)上提出將TLMR模型在多個數(shù)據(jù)集上進行多步遷移，從而觀察在以Markov網(wǎng)絡(luò)表達(dá)數(shù)據(jù)信息的前提下，舊知識在經(jīng)