文本聚類及其在話題檢測中的應(yīng)用研究.pdf

1、隨著網(wǎng)絡(luò)技術(shù)的高速發(fā)展，互聯(lián)網(wǎng)目前已經(jīng)應(yīng)用于各行各業(yè)，改變了人們工作和生活，同時(shí)也給我們帶來了前所未有的挑戰(zhàn)。由于網(wǎng)絡(luò)數(shù)據(jù)急劇增加，收集組織相關(guān)的信息變得越來越困難，如何從海量的信息中獲取所需信息，也成了當(dāng)今急需解決的問題。話題檢測與跟蹤(Topic Detection and Tracking，TDT)就是為了解決該問題而提出的一項(xiàng)技術(shù)，旨在對新聞媒體等數(shù)據(jù)源進(jìn)行話題檢測和跟蹤，并從中篩選重要信息。TDT中最重要的研究任務(wù)之一是話題檢

2、測，其主要作用就是把話題類似的事件聚類到一起以方便篩選，因此，對其進(jìn)行深入的研究具有重要的現(xiàn)實(shí)意義。
　　本文主要的工作內(nèi)容如下：
　　（1）K均值聚類算法是目前最常用的聚類算法之一，因其算法思想簡單、聚類速度較快得到了廣泛應(yīng)用，但此算法隨意指定初始中心容易導(dǎo)致聚類陷入局部最優(yōu)解的缺陷，使得聚類效果變差。針對這一缺陷，本文提出了一個(gè)自適應(yīng)聚類算法，能夠基于最大最小距離和誤差平方和(SSE)選取初始聚類中心并自動(dòng)確定簇?cái)?shù)以優(yōu)化

3、聚類效果。實(shí)驗(yàn)結(jié)果表明該算法可以在不增加迭代次數(shù)的情況下得到更準(zhǔn)確的聚類結(jié)果。
　?。?）在高速發(fā)展的互聯(lián)網(wǎng)時(shí)代，網(wǎng)絡(luò)上的各類新聞報(bào)道產(chǎn)生了數(shù)以萬計(jì)的信息，從這些新聞報(bào)道中抽取出有價(jià)值的信息就成了當(dāng)今信息過濾技術(shù)中一個(gè)重要的研究方向。本文結(jié)合回顧式話題檢測技術(shù)及檢測過程中文本集是隨時(shí)會增加的這一特點(diǎn)，提出了一種話題特征選擇方法，結(jié)合詞性提取話題特征詞，并針對后期話題檢測逐步修正特征權(quán)重，以提高具有高話題辨別能力的特征詞的權(quán)重。實(shí)驗(yàn)