Web信息獲取技術(shù)研究.pdf

1、隨著互聯(lián)網(wǎng)的興起和信息時(shí)代的到來,Web信息獲取技術(shù)成為當(dāng)今世界上一大研究的熱點(diǎn).如何最準(zhǔn)確的獲得人們感興趣的信息,成為Web信息獲取技術(shù)研究的重中之重.然而由于互聯(lián)網(wǎng)內(nèi)部的多樣性以及文檔結(jié)構(gòu)的復(fù)雜性,Web信息獲取技術(shù)的研究具有一定的困難,很難涵蓋所有范圍,專業(yè)搜索引擎成為解決這一問題的主要方法.該文選取當(dāng)今世界上公認(rèn)最好的計(jì)算機(jī)專業(yè)科學(xué)文獻(xiàn)搜索引擎Citeseer進(jìn)行研究,試圖提出一種方案,使科學(xué)工作者根據(jù)自己的興趣能更加方便、準(zhǔn)確

2、的通過Citeseer網(wǎng)站獲取計(jì)算機(jī)類文獻(xiàn).該文的工作包括:1.針對(duì)Citeseer網(wǎng)站的文獻(xiàn)搜集和分析在對(duì)互聯(lián)網(wǎng)上的信息進(jìn)行處理時(shí),常常要將分布在互聯(lián)網(wǎng)各處的Web頁面下載到本地供進(jìn)一步處理,因此該文設(shè)計(jì)網(wǎng)絡(luò)爬蟲,根據(jù)Citeseer網(wǎng)站中文獻(xiàn)頁面對(duì)應(yīng)的鏈接具有的特定形式,將文獻(xiàn)頁面的Html源代碼下載到本地?cái)?shù)據(jù)庫中;再根據(jù)文獻(xiàn)頁面顯示樣式所具有的特定規(guī)律進(jìn)行分析,根據(jù)需要從中提取各類信息,分類存儲(chǔ)到數(shù)據(jù)庫各個(gè)表中,以供進(jìn)一步研究使用

3、.2.基于內(nèi)容和拓?fù)浣Y(jié)構(gòu)的文獻(xiàn)質(zhì)量評(píng)價(jià)該文在Citeseer搜索的結(jié)果文獻(xiàn)集的基礎(chǔ)上,分別根據(jù)內(nèi)容和拓?fù)浣Y(jié)構(gòu)對(duì)這些文獻(xiàn)進(jìn)行重新評(píng)價(jià),根據(jù)評(píng)價(jià)結(jié)果對(duì)文獻(xiàn)集進(jìn)行重新排序,以找到感興趣的文獻(xiàn).該文中基于內(nèi)容的文獻(xiàn)質(zhì)量評(píng)價(jià)根據(jù)事先提供的好文獻(xiàn)構(gòu)造"語境圖"找到各類樣本,分類算法采用樸素貝葉斯理論;基于拓?fù)浣Y(jié)構(gòu)的文獻(xiàn)質(zhì)量評(píng)價(jià)采用PageRank算法進(jìn)行.實(shí)驗(yàn)結(jié)果表明,這兩種評(píng)價(jià)方法分別從主觀和客觀角度體現(xiàn)了文獻(xiàn)的質(zhì)量.3.提出基于內(nèi)容和拓?fù)浣Y(jié)構(gòu)相