基于遷移學(xué)習(xí)理論的Markov檢索模型.pdf

1、在傳統(tǒng)的信息檢索中，檢索模型是在靜態(tài)數(shù)據(jù)集上訓(xùn)練得到的，模型一經(jīng)訓(xùn)練，結(jié)構(gòu)和參數(shù)都相對(duì)固定下來，沒有根據(jù)新的數(shù)據(jù)自動(dòng)修正的機(jī)制。但現(xiàn)實(shí)中，Web上的信息是實(shí)時(shí)更新的，經(jīng)過一段時(shí)間訓(xùn)練好的模型往往會(huì)因?yàn)殡S后新數(shù)據(jù)的加入而使得檢索性能明顯下降。為了解決這個(gè)問題，傳統(tǒng)的模型必須對(duì)新的數(shù)據(jù)重新進(jìn)行學(xué)習(xí)，但在新的數(shù)據(jù)上重新訓(xùn)練一個(gè)模型需要耗費(fèi)大量的時(shí)間，而且在舊數(shù)據(jù)上訓(xùn)練了很久的模型也因得不到利用而被浪費(fèi)，因此，如何避免重新訓(xùn)練且很好地利用舊數(shù)據(jù)

2、在新的數(shù)據(jù)上進(jìn)行檢索成為一個(gè)關(guān)鍵的遷移學(xué)習(xí)問題。
　　 在本文中，我們?cè)趥鹘y(tǒng)的基于Markov網(wǎng)絡(luò)的信息檢索模型基礎(chǔ)上提出一個(gè)基于遷移學(xué)習(xí)理論的Markov檢索模型（簡(jiǎn)稱TLMR模型）。它利用Markov網(wǎng)絡(luò)在舊數(shù)據(jù)上建立信息檢索模型，由于Markov網(wǎng)絡(luò)能夠表示學(xué)習(xí)更新機(jī)制，可應(yīng)用新數(shù)據(jù)集來更新已有的Markov網(wǎng)絡(luò)，也即將已有的知識(shí)遷移到新的檢索模型中。在這篇文章中，我們通過計(jì)算新、舊數(shù)據(jù)中詞關(guān)系的Markov網(wǎng)絡(luò)之間的KL

3、距離來度量新、舊數(shù)據(jù)之間的關(guān)聯(lián)程度，利用它來估計(jì)遷移量參數(shù)。
　　 而且，在現(xiàn)實(shí)中Web上的信息并非只更新一次就不再變化，在舊數(shù)據(jù)上遷移一次得來的新模型，將其再次遷移到再次更新的數(shù)據(jù)上檢索性能是否仍然會(huì)好，這是值得探索的。在本工作中，我們將TLMR模型在多個(gè)數(shù)據(jù)集上進(jìn)行多步遷移，以此來探討其適應(yīng)動(dòng)態(tài)數(shù)據(jù)的能力。
　　 在TREC數(shù)據(jù)集上的單步與多步遷移實(shí)驗(yàn)表明模型能很好地在多個(gè)數(shù)據(jù)集間遷移，多步遷移實(shí)驗(yàn)也表明模型的學(xué)習(xí)能

4、力與學(xué)習(xí)順序無關(guān)。
　　 本文的工作和創(chuàng)新點(diǎn)在于：
　　 1.在目前將遷移學(xué)習(xí)理論研究只應(yīng)用于分類的情況下，將遷移學(xué)習(xí)理論用于信息檢索領(lǐng)域，將知識(shí)的遷移和有指導(dǎo)的遷移學(xué)習(xí)等思想成功應(yīng)用在基于Markov網(wǎng)絡(luò)的信息檢索模型中，利用在新舊數(shù)據(jù)上構(gòu)造的Markov網(wǎng)絡(luò)來進(jìn)行知識(shí)的遷移。
　　 2.在遷移學(xué)習(xí)的基礎(chǔ)上提出將TLMR模型在多個(gè)數(shù)據(jù)集上進(jìn)行多步遷移，從而觀察在以Markov網(wǎng)絡(luò)表達(dá)數(shù)據(jù)信息的前提下，舊知識(shí)在經(jīng)