基于RSS源文本的自動(dòng)文摘系統(tǒng)研究.pdf

1、隨著網(wǎng)絡(luò)信息資源總量指數(shù)級(jí)的增長(zhǎng)，如何在海量的數(shù)據(jù)中檢索信息并獲取主旨，是一個(gè)值得研究的問(wèn)題。搜索引擎和RSS推送技術(shù)解決了信息的“源”問(wèn)題，卻沒(méi)有很好的解決信息的“量”問(wèn)題。自動(dòng)文摘技術(shù)正是對(duì)信息進(jìn)行壓縮和精煉的有效應(yīng)用之一。自動(dòng)文摘利用計(jì)算機(jī)技術(shù)，自動(dòng)從原始文檔中抽取或總結(jié)出能夠反映文本中心內(nèi)容的簡(jiǎn)短連貫短文，以幫助用戶快速、準(zhǔn)確和全面的獲取信息主旨。
　　 本文認(rèn)為不同主題類(lèi)型的新聞文摘具有不同形式的文本特征組合模型，因此

2、應(yīng)將文本自動(dòng)分類(lèi)結(jié)果作為自動(dòng)文摘的前提。通過(guò)網(wǎng)頁(yè)抓取、網(wǎng)頁(yè)清洗和數(shù)據(jù)存儲(chǔ)構(gòu)建分類(lèi)語(yǔ)料庫(kù)，并在此基礎(chǔ)之上利用不同特征選擇算法和分類(lèi)算法實(shí)現(xiàn)了自動(dòng)歸類(lèi)。提出文摘句的可能性(Probability)和可行性(Possibility)兩種度量方式，基于文摘語(yǔ)料庫(kù)的構(gòu)建，采用基于回歸分析的有監(jiān)督機(jī)器學(xué)習(xí)算法(線性回歸和Logistic回歸)進(jìn)行訓(xùn)練學(xué)習(xí)，以確定文摘句特征組合模型的最優(yōu)參數(shù)。針對(duì)中文文本，提出改進(jìn)型ROUGE-CN系列評(píng)價(jià)算法，用于

3、對(duì)文摘句可能性的度量和對(duì)機(jī)器文摘的測(cè)評(píng)。
　　 基于機(jī)器學(xué)習(xí)的自動(dòng)文摘方法產(chǎn)生的文摘與基準(zhǔn)文摘和Word文摘的對(duì)比實(shí)驗(yàn)結(jié)果表明，以自動(dòng)分類(lèi)為前提，利用基于回歸分析的有監(jiān)督機(jī)器學(xué)習(xí)算法，能夠有效的提高機(jī)器文摘質(zhì)量。
　　 以在線RSS數(shù)據(jù)源與基于回歸機(jī)器學(xué)習(xí)的自動(dòng)文摘方法的結(jié)合作為創(chuàng)新點(diǎn)，最終設(shè)計(jì)和實(shí)現(xiàn)了基于RSS源文本的自動(dòng)文摘系統(tǒng)。系統(tǒng)以在線RSS源文本為數(shù)據(jù)來(lái)源，利用正則表達(dá)式匹配的方式抽取原文元數(shù)據(jù)內(nèi)容，提供不同特