基于HMM的定題信息采集研究與實踐.pdf

1、本文針對Web信息采集領(lǐng)域存在的問題，圍繞面向垂直搜索的定題信息采集技術(shù)這一中心，主要完成的工作內(nèi)容如下：
　　 第一，全面回顧了信息采集技術(shù)的研究歷史，系統(tǒng)深入地分析了通用信息采集技術(shù)和已有定題信息采集技術(shù)各自存在的優(yōu)缺點，以及就主題爬行涉及到的一些關(guān)鍵技術(shù)展開了談論。通過學習和研究Web頁面分布特性，得出一些可以用于主題爬行過程的規(guī)律。
　　 第二，本文涉及的主題相關(guān)度判別部分，主要是借助于通用搜索引擎工具進行主題拓

2、展、提取領(lǐng)域信息，動態(tài)地構(gòu)建主題權(quán)重表。在得出主題權(quán)重表后，結(jié)合網(wǎng)頁文本以及鏈接的元數(shù)據(jù)信息，提出了一種有效的主題爬蟲相關(guān)度判別算法，來預測相似站點內(nèi)頁面和鏈接的主題相關(guān)度。以內(nèi)容和鏈接組合而成的主題特征向量作為度量來發(fā)現(xiàn)站點內(nèi)的主題資源，是本文較為核心的部分，同時為后續(xù)的建模過程做好鋪墊。
　　 第三，本文研究的重點是如何將隱馬爾科夫模型(HMM)應用于定題信息采集領(lǐng)域。通過介紹HMM模型的理論知識和主要的算法，結(jié)合Web站點

3、的主題層次結(jié)構(gòu)以及主題特征向量，在對現(xiàn)有主題爬蟲的缺陷和不足進行分析的基礎上，提出了一套基于HMM模型的定題信息采集技術(shù)解決方案，同時對實現(xiàn)此方案過程中涉及到的相關(guān)問題進行了重點研究。
　　 第四，本文在提出理論創(chuàng)新的同時，合理的整合一些開源技術(shù)，實現(xiàn)了一個主題爬行原型系統(tǒng)。在真實的Web環(huán)境下，針對多個不同主題的實驗結(jié)果進行分析，表明利用HMM模型基于訓練數(shù)據(jù)集的自動構(gòu)造識別能力，使得我們的主題爬行策略可以明顯地改善傳統(tǒng)主題爬