漢語言網(wǎng)絡(luò)統(tǒng)計特性與半監(jiān)督文檔聚類算法研究.pdf

1、隨著網(wǎng)絡(luò)上電子文檔呈指數(shù)級增長,人們迫切需要能利用計算機自動地處理這些文檔,主要包括文檔的自動分類、聚類。本文的側(cè)重點是文檔聚類。文檔聚類的一般過程包括文本表示、聚類算法和聚類結(jié)果評價。其中,文本表示和聚類算法是一個聚類工具最重要的兩個方面。在文本表示方面,向量空間模型占據(jù)統(tǒng)治地位。由于文本的半結(jié)構(gòu)化特征,向量空間模型作為本文表示的缺點也是顯而易見的。近來,復(fù)雜網(wǎng)絡(luò)作為一門研究復(fù)雜性的工具引起了研究人員的廣泛關(guān)注。文本作為人們的書面語言

2、,也具有復(fù)雜性的特點。本文從復(fù)雜網(wǎng)絡(luò)的角度探討了漢語語言網(wǎng)的統(tǒng)計性質(zhì),希望從中能獲得關(guān)于文本表示的新的發(fā)現(xiàn)。本文從一個最大的人民日報語料庫出發(fā),構(gòu)造了兩個不同的網(wǎng)絡(luò)(CLN1和CLN2)。對于這兩個網(wǎng)絡(luò),一個節(jié)點代表語料庫里面的一個詞。對于CLN1,如果兩個節(jié)點對應(yīng)的詞在語料庫的一個句子里是相鄰的,則這兩個節(jié)點之間形成一條邊;對于CLN2,如果兩個節(jié)點對應(yīng)的詞處于同一個句子里,則這兩個節(jié)點之間有一條邊。本文通過實驗論證了這兩個網(wǎng)絡(luò)都展現(xiàn)

3、了小世界效應(yīng)、度分布無尺度結(jié)構(gòu)、層次結(jié)構(gòu)和負相關(guān)性。我們希望這些結(jié)果能為尋求新的文本表示模型帶來新的線索。在聚類算法方面,本文關(guān)注在半監(jiān)督條件下的文本聚類。在實際應(yīng)用中,關(guān)于文檔集的一些先驗知識是知道的,比如某兩個文檔應(yīng)該是歸為一類的。這種先驗知識可以用來在聚類過程中起到約束作用。這種利用了用戶先驗知識的聚類方法叫做半監(jiān)督聚類。K-means是個常用且有效的聚類方法。本文把這種先驗知識通過數(shù)學(xué)表達的方式與K-means的基于矩陣跡的目標