基于RSS源文本的自動文摘系統(tǒng)研究.pdf

1、隨著網(wǎng)絡(luò)信息資源總量指數(shù)級的增長，如何在海量的數(shù)據(jù)中檢索信息并獲取主旨，是一個值得研究的問題。搜索引擎和RSS推送技術(shù)解決了信息的“源”問題，卻沒有很好的解決信息的“量”問題。自動文摘技術(shù)正是對信息進行壓縮和精煉的有效應(yīng)用之一。自動文摘利用計算機技術(shù)，自動從原始文檔中抽取或總結(jié)出能夠反映文本中心內(nèi)容的簡短連貫短文，以幫助用戶快速、準(zhǔn)確和全面的獲取信息主旨。
　　 本文認為不同主題類型的新聞文摘具有不同形式的文本特征組合模型，因此

2、應(yīng)將文本自動分類結(jié)果作為自動文摘的前提。通過網(wǎng)頁抓取、網(wǎng)頁清洗和數(shù)據(jù)存儲構(gòu)建分類語料庫，并在此基礎(chǔ)之上利用不同特征選擇算法和分類算法實現(xiàn)了自動歸類。提出文摘句的可能性(Probability)和可行性(Possibility)兩種度量方式，基于文摘語料庫的構(gòu)建，采用基于回歸分析的有監(jiān)督機器學(xué)習(xí)算法(線性回歸和Logistic回歸)進行訓(xùn)練學(xué)習(xí)，以確定文摘句特征組合模型的最優(yōu)參數(shù)。針對中文文本，提出改進型ROUGE-CN系列評價算法，用于

3、對文摘句可能性的度量和對機器文摘的測評。
　　 基于機器學(xué)習(xí)的自動文摘方法產(chǎn)生的文摘與基準(zhǔn)文摘和Word文摘的對比實驗結(jié)果表明，以自動分類為前提，利用基于回歸分析的有監(jiān)督機器學(xué)習(xí)算法，能夠有效的提高機器文摘質(zhì)量。
　　 以在線RSS數(shù)據(jù)源與基于回歸機器學(xué)習(xí)的自動文摘方法的結(jié)合作為創(chuàng)新點，最終設(shè)計和實現(xiàn)了基于RSS源文本的自動文摘系統(tǒng)。系統(tǒng)以在線RSS源文本為數(shù)據(jù)來源，利用正則表達式匹配的方式抽取原文元數(shù)據(jù)內(nèi)容，提供不同特