增量聚類在動(dòng)態(tài)多文檔摘要中的研究與應(yīng)用.pdf

1、Web2.0時(shí)代出現(xiàn)的論壇、博客、新聞和在線評(píng)論等新媒體每天產(chǎn)生海量文檔信息，因此需要一種高效的方法提取文檔重要內(nèi)容,去除冗余信息，將簡(jiǎn)潔，精煉的內(nèi)容呈現(xiàn)給讀者。為了幫助讀者們獲取他們感興趣事件的最新動(dòng)態(tài)，實(shí)現(xiàn)更快的實(shí)時(shí)更新文摘內(nèi)容，動(dòng)態(tài)文摘技術(shù)成為一個(gè)新的研究熱點(diǎn)。動(dòng)態(tài)文摘的提取需要同時(shí)保證質(zhì)量和效率，目前的動(dòng)態(tài)文摘研究工作大多是基于批處理原則--以文檔集合為單位進(jìn)行處理。而在實(shí)際應(yīng)用中，如新聞更新、災(zāi)難報(bào)告、輿情分析等系統(tǒng)，文檔數(shù)據(jù)

2、是不穩(wěn)定的數(shù)據(jù)流，因此需要研究高效的基于數(shù)據(jù)流處理的動(dòng)態(tài)文摘抽取辦法。
　　為了解決上述問題，本文提出了兩種基于增量聚類算法的動(dòng)態(tài)多文檔摘要算法：基于改進(jìn) K-means方法的動(dòng)態(tài)文摘算法和基于KNN增量圖聚類算法的動(dòng)態(tài)文摘算法。
　　在動(dòng)態(tài)文摘算法中，聚類的目的是劃分文檔子主題，而多文檔的子主題是潛在的,針對(duì)傳統(tǒng) k-means需要人為指定聚類數(shù)的缺點(diǎn)，實(shí)現(xiàn)了一種自適應(yīng)的初始中心選擇方法，并通過對(duì)句子節(jié)點(diǎn)有用度打分來刪除句

3、子，實(shí)現(xiàn)增量聚類流?；?KNN增量圖聚類的動(dòng)態(tài)文摘算法首先基于 KNN思想來構(gòu)建句子圖模型，利用基于密度分割聚類實(shí)現(xiàn)句子分類，同時(shí)結(jié)合圖中節(jié)點(diǎn)權(quán)重和時(shí)間因素篩選出候選文摘句，根據(jù)摘要長(zhǎng)度抽取出動(dòng)態(tài)文摘。最后實(shí)現(xiàn)了本文knn增量圖聚類算法中文輿情動(dòng)態(tài)文摘抽取原型系統(tǒng)。
　　本文工作的主要貢獻(xiàn)是：提出了兩種新的基于增量聚類方法的動(dòng)態(tài)文摘抽取算法，實(shí)現(xiàn)文摘抽取的流處理——隨著文檔數(shù)據(jù)流到來，實(shí)時(shí)更新文摘內(nèi)容。根據(jù)動(dòng)態(tài)文摘的四大特性：重