基于K-means的網(wǎng)絡(luò)話題自動檢測技術(shù)研究.pdf

1、如今,現(xiàn)代通信技術(shù)及互聯(lián)網(wǎng)技術(shù)高速發(fā)展,如何對互聯(lián)網(wǎng)上最新發(fā)生的熱點、敏感事件進(jìn)行第一時間發(fā)現(xiàn),并對其進(jìn)一步的發(fā)展動態(tài)進(jìn)行自動追蹤,成為海量網(wǎng)絡(luò)信息處理領(lǐng)域的研究熱點。本文研究網(wǎng)絡(luò)主題自動檢測技術(shù),主要包括:網(wǎng)絡(luò)數(shù)據(jù)采集、網(wǎng)頁內(nèi)容提取、命名實體提取及主題自動檢測技術(shù),主要取得如下四個方面的研究成果:
　　 (1)研究網(wǎng)絡(luò)數(shù)據(jù)采集技術(shù),在傳統(tǒng)web數(shù)據(jù)采集的基礎(chǔ)上構(gòu)造分布式網(wǎng)絡(luò)數(shù)據(jù)采集體系,完成對大規(guī)模動態(tài)網(wǎng)絡(luò)數(shù)據(jù)的分布式采集。該

2、采集體系在網(wǎng)絡(luò)數(shù)據(jù)一般結(jié)構(gòu)的基礎(chǔ)上,采用“主從分布、自主協(xié)同”的分布式采集體系架構(gòu),融入多種采集策略,實現(xiàn)大規(guī)模動態(tài)網(wǎng)絡(luò)數(shù)據(jù)的高效采集。
　　 (2)研究網(wǎng)頁內(nèi)容提取,提出一種基于錨文字計算的網(wǎng)頁內(nèi)容提取方法。該方法針對網(wǎng)頁局部噪聲,該方法首先對網(wǎng)頁源碼進(jìn)行結(jié)構(gòu)分析,通過標(biāo)簽提取對網(wǎng)頁進(jìn)行內(nèi)容塊確定;其次,對內(nèi)容塊的錨文字比例進(jìn)行計算,采用一定閾值進(jìn)行網(wǎng)頁文本內(nèi)容判決;最后,通過計算每一個內(nèi)容塊與網(wǎng)頁標(biāo)題的比例,最終實現(xiàn)網(wǎng)頁文本

3、內(nèi)容的完整提取。實驗結(jié)果表明,與傳統(tǒng)提取方法相比,該方法網(wǎng)頁內(nèi)容提取完整性和準(zhǔn)確性都有較大提高。
　　 (3)研究命名實體提取技術(shù),提出一種自定義規(guī)則的命名實體提取方法。該方法針對中文命名實體標(biāo)注規(guī)范中出現(xiàn)的命名實體標(biāo)注錯誤,采用正則表達(dá)式制定相應(yīng)規(guī)則對中文分詞結(jié)果進(jìn)行修正,在此基礎(chǔ)上完成對網(wǎng)絡(luò)命名實體的準(zhǔn)確提取。實驗結(jié)果表明,該方法命名實體提取性能優(yōu)于直接提取方法,是一種有效的網(wǎng)絡(luò)命名實體提取方法。
　　 (4)研究網(wǎng)