藏文網(wǎng)頁(yè)定題采集方法研究.pdf

1、與漢文相比,藏文信息處理技術(shù)發(fā)展較慢,加之缺乏支持藏文搜索引擎,互聯(lián)網(wǎng)上的藏文信息常常處于“孤立狀態(tài)”,給用戶(hù)的查找和獲取帶來(lái)較大的困難。因此,探討一種通過(guò)網(wǎng)絡(luò)采集藏文信息的方法,對(duì)于藏文研究者顯得尤為重要。
　　在分析了網(wǎng)頁(yè)采集流程、網(wǎng)絡(luò)爬蟲(chóng)工作基本原理和主題網(wǎng)頁(yè)采集的相關(guān)知識(shí)的基礎(chǔ)上,對(duì)藏文網(wǎng)頁(yè)的采集方法進(jìn)行了深入研究:
　　1.對(duì)比分析藏文網(wǎng)頁(yè)的字體、藏文音節(jié)點(diǎn)、藏文高頻詞等區(qū)別于其他網(wǎng)頁(yè)的特征參數(shù),設(shè)計(jì)出適合于判斷藏

2、文網(wǎng)頁(yè)的相關(guān)算法。
　　2.探討了藏文主題爬蟲(chóng)的關(guān)鍵技術(shù),如藏文分詞、主題判斷方法以及爬蟲(chóng)的爬行策略等內(nèi)容,提出基于“導(dǎo)向詞”的藏文主題判斷方法。
　　3.研究Heritrix軟件,并通過(guò)對(duì)其關(guān)鍵模塊Extractor和Frontierscheduler的改進(jìn)和擴(kuò)展,實(shí)現(xiàn)“導(dǎo)向詞”算法的藏文主題信息網(wǎng)站的抓取;另外,運(yùn)用哈希算法,擴(kuò)展Queue-assignment-policy模塊,大大提升了爬蟲(chóng)的采集效率。
　　4

3、.利用HTMLParse軟件對(duì)采集的新聞信息進(jìn)行提取,并將新聞的標(biāo)題、發(fā)布時(shí)間、來(lái)源、正文信息存入數(shù)據(jù)庫(kù)。
　　5.對(duì)采集的藏文網(wǎng)頁(yè)文本進(jìn)行編碼“歸一化”處理,轉(zhuǎn)化成國(guó)際標(biāo)準(zhǔn)的Unicode編碼。
　　利用上述研究結(jié)果,以網(wǎng)頁(yè)的查準(zhǔn)率和查全率為參考指標(biāo),對(duì)“導(dǎo)向詞”主題判斷算法的幾個(gè)闕值進(jìn)行了測(cè)試,根據(jù)測(cè)試的結(jié)果對(duì)中國(guó)西藏網(wǎng)進(jìn)行了網(wǎng)頁(yè)抓取,抓取的準(zhǔn)確率在62％左右。測(cè)試數(shù)據(jù)表明,研究結(jié)果對(duì)于藏文定題信息采集行之有效,具有較高