機器學(xué)習(xí)算法在文本分析中的研究.pdf

1、隨著互聯(lián)網(wǎng)信息資源的指數(shù)增長，如何實現(xiàn)海量文本數(shù)據(jù)的自動分析已成為日益緊迫的研究課題。近年來，作為文本自動分析的重要手段，文本聚類及熱點信息發(fā)現(xiàn)逐漸受到研究者的重視。對互聯(lián)網(wǎng)信息的聚類處理使人們可以從總體上了解信息主題的分布，并根據(jù)特定興趣選擇不同主題的文本進(jìn)行瀏覽；對互聯(lián)網(wǎng)熱點信息的自動發(fā)現(xiàn)使用戶更容易了解不同類別中最受關(guān)注的焦點。 本文關(guān)注于文本聚類算法和熱點信息發(fā)現(xiàn)算法的改進(jìn)和高效實現(xiàn)，以期在海量數(shù)據(jù)和工程化環(huán)境中有效推動

2、文本自動分析技術(shù)的實用化。首先，針對K-Means算法的聚類結(jié)果嚴(yán)重依賴于初始中心點的特性，本文在K-Means算法中引入了具有優(yōu)化近似因子的delta近似K-Center算法，構(gòu)造了改進(jìn)的聚類算法KWOC(K-Means With Optimized Centers)，用以實現(xiàn)更有效的初始中心點選擇。實驗表明KWOC可顯著提高最終聚類結(jié)果的魯棒性。在KWOC的具體實現(xiàn)中，本文創(chuàng)新性地設(shè)計了針對性較強的事務(wù)性文件系統(tǒng)，實現(xiàn)了K-Cent

3、er中間計算結(jié)果的高效緩存，在文件層面實現(xiàn)K-Center與K-Means的計算結(jié)果共享。該方案顯著降低KWOC算法的時間開銷。 其次，為了有效挖掘海量Web數(shù)據(jù)中的熱點信息，設(shè)計了一種新穎的Web熱點信息發(fā)現(xiàn)算法。該算法以分階段的串頻變化量統(tǒng)計矩陣為基礎(chǔ)，結(jié)合串頻變化的歷史波動，得出有效的熱點信息串的評價指標(biāo)，并根據(jù)由該指標(biāo)選中的熱點信息串最終完成熱點文章的甄選工作。該算法的具體實現(xiàn)同樣利用了有針對性的事務(wù)性文件系統(tǒng)，因而具有