基于示例的中文Web信息自動獲取系統(tǒng)的研究與實現(xiàn).pdf

1、現(xiàn)有的基于關(guān)鍵詞的搜索引擎雖然在一定程度上滿足了用戶查詢各種網(wǎng)絡(luò)信息的需要，但是沒有考慮用戶個體間的差異，無法滿足人們?nèi)找嬖鲩L的個性化需求。中小型智能個性化網(wǎng)絡(luò)信息獲取系統(tǒng)憑借比搜索引擎更為優(yōu)質(zhì)的網(wǎng)絡(luò)信息獲取服務(wù)贏得了越來越多的用戶的認(rèn)同，已經(jīng)成為個性化網(wǎng)絡(luò)信息獲取技術(shù)的一個重要研究方向。但是，中小型智能個性化網(wǎng)絡(luò)信息獲取系統(tǒng)在用戶個性特征提取、基于用戶興趣的Web信息采集、網(wǎng)頁過濾等方面研究的滯后制約了這類系統(tǒng)的開發(fā)和使用。為此，本文

2、通過基于示例的中文Web信息自動獲取系統(tǒng)的研發(fā)對這些問題展開了研究。 本文主要對中文示例Web頁面的特征抽取、待過濾Web信息源的采集、Web頁面的過濾等系統(tǒng)開發(fā)過程中面臨的技術(shù)難題進行了研究，提出一些新的算法、機制：為了減輕用戶的使用負(fù)擔(dān)，提出了一種適用于少量中文正例Web頁面的特征抽取方法，使得用戶即使只提交一至兩個示例也可完成興趣定制，增強了系統(tǒng)的易用性；提出了一種基于元搜索的Web頁面聚焦采集機制，能快速、有針對性地采集

3、待過濾Web信息源，節(jié)約系統(tǒng)資源和網(wǎng)絡(luò)資源；提出了一種可調(diào)節(jié)的過濾閾值設(shè)定方法，可按用戶選取的過濾精確等級向用戶推送興趣Web頁面。另外，改進了基于分塊的HTML網(wǎng)頁去噪解析方法，可以有效地剔除各種頁面噪聲、解析出Web頁面的正文文本內(nèi)容；設(shè)計的系統(tǒng)構(gòu)架具有較好的可擴展性、可維護性、可伸縮性以及可靠性，對其它個性化Web信息獲取系統(tǒng)的開發(fā)也具有一定的借鑒意義。最后在上述基礎(chǔ)上，確立了系統(tǒng)的技術(shù)方案，并據(jù)此實現(xiàn)了一個原型系統(tǒng)。系統(tǒng)采用的技

4、術(shù)方案是：采用多層客戶機/服務(wù)器體系結(jié)構(gòu)，引入偽正例Web頁面并結(jié)合《人民日報》切分標(biāo)注語料抽取用戶提交的少量示例網(wǎng)頁的特征來建立用戶興趣模板、設(shè)置過濾閾值，構(gòu)建元搜索引擎獲取待過濾Web信息源，使用向量空間模型過濾出興趣網(wǎng)頁并將它們推送給用戶，根據(jù)用戶對結(jié)果的反饋自適應(yīng)地修改用戶興趣模板。 實驗結(jié)果表明，較基于關(guān)鍵詞的機器人搜索引擎而言，系統(tǒng)能充分考慮用戶的興趣偏好(示例)，以較小的資源代價長期、主動地向用戶提供更加準(zhǔn)確的We