面向社會(huì)化媒體內(nèi)容的若干聚類算法研究.pdf

1、以Web2.0為代表的社會(huì)化媒體服務(wù)迅猛發(fā)展，改變了傳統(tǒng)的信息傳播方式，使得互聯(lián)網(wǎng)用戶從以往被動(dòng)地接受信息走向主動(dòng)對(duì)信息進(jìn)行創(chuàng)造，產(chǎn)生了無窮無盡的文本數(shù)據(jù)。與此同時(shí)，社會(huì)化媒體服務(wù)還將現(xiàn)實(shí)社會(huì)關(guān)系映射到了互聯(lián)網(wǎng)中。面對(duì)社會(huì)化媒體中海量、有價(jià)值的數(shù)據(jù)，科學(xué)家們掀起了研究的狂潮。然而，與以往的數(shù)據(jù)相比，社會(huì)化媒體中的文本，鏈接數(shù)據(jù)擁有一些新的特性(多噪聲、高稀疏、短文本、動(dòng)態(tài)性、缺失值)，這導(dǎo)致了傳統(tǒng)的聚類方法不能直接的應(yīng)用于社會(huì)化媒體中的

2、數(shù)據(jù)。近幾年科學(xué)家們提出一些針對(duì)社會(huì)化媒體數(shù)據(jù)新特性算法，如圖聚類模型，主題模型等。但這些聚類研究存在如缺少對(duì)數(shù)據(jù)整體分布的學(xué)習(xí)、缺乏數(shù)據(jù)之間關(guān)系的分析及缺乏系統(tǒng)性等缺點(diǎn)，并且研究方法寥寥可數(shù)。
　　本文在現(xiàn)有研究工作的基礎(chǔ)上，針對(duì)社會(huì)化媒體數(shù)據(jù)新特性，結(jié)合圖聚類及主題模型最新研究成果，提出一系列新穎的、針對(duì)社會(huì)化媒體內(nèi)容的聚類方法。主要研究工作和創(chuàng)新包括：
　　(1)針對(duì)多噪聲網(wǎng)頁(yè)內(nèi)容聚類問題，提出基于網(wǎng)頁(yè)DOM樹結(jié)構(gòu)的網(wǎng)

3、頁(yè)分塊算法（TPS）和基于圖分割的網(wǎng)頁(yè)分塊算法（GPPS)。這兩個(gè)算法探索社會(huì)化媒體網(wǎng)頁(yè)中語(yǔ)義模塊與網(wǎng)頁(yè)DOM樹子樹結(jié)構(gòu)的對(duì)應(yīng)關(guān)系，將一個(gè)網(wǎng)頁(yè)視為多個(gè)主題信息塊的集合，并通過解析網(wǎng)頁(yè)DOM樹子樹結(jié)構(gòu)中包含的語(yǔ)義信息，將一個(gè)網(wǎng)頁(yè)分割成為多個(gè)獨(dú)立主題的語(yǔ)義模塊。TPS算法通過定義DOM樹中的語(yǔ)義子樹將一個(gè)網(wǎng)頁(yè)分割成為不同語(yǔ)義模塊。GPPS算法將DOM樹轉(zhuǎn)化為一個(gè)有向圖，并通過圖聚類算法來發(fā)現(xiàn)網(wǎng)頁(yè)的語(yǔ)義子模塊。在社會(huì)化媒體網(wǎng)站數(shù)據(jù)上的實(shí)驗(yàn)結(jié)果

4、表明，與僅搜索網(wǎng)頁(yè)DOM樹節(jié)點(diǎn)屬性和視覺信息的傳統(tǒng)算法相比，TPS和GPPS兩個(gè)算法的分塊效果精度更高，魯棒性更強(qiáng)。這兩種算法可以用來去除網(wǎng)頁(yè)中的噪聲文本，是其他工作的前置步驟。
　　(2)針對(duì)文本流數(shù)據(jù)中的突發(fā)詞聚類問題，提出基于主題的突發(fā)事件偵測(cè)算法（TBE）。該算法首先使用高斯分布檢測(cè)時(shí)間域上的突發(fā)詞。接著，該算法同時(shí)考慮突發(fā)詞之間的共現(xiàn)關(guān)系和文本集中的潛在主題信息對(duì)突發(fā)詞進(jìn)行聚類，得到了時(shí)間間隔中的突發(fā)事件。最后，TBE算

5、法通過概率可能性估計(jì)出事件主題。該主題用來在時(shí)間域內(nèi)追蹤突發(fā)事件的發(fā)展。本文中TBE算法還設(shè)計(jì)事件可視化技術(shù)來展示算法發(fā)現(xiàn)的事件。在社會(huì)化媒體中博客數(shù)據(jù)和Reuter新聞數(shù)據(jù)上的實(shí)驗(yàn)結(jié)果表明，TBE算法事件發(fā)現(xiàn)的效果優(yōu)于當(dāng)前最好事件發(fā)現(xiàn)算法HBE算法。
　　(3)面對(duì)傳統(tǒng)的TDT問題，將傳統(tǒng)的在線主題模型擴(kuò)展為主題事件偵測(cè)和追蹤算法（TEDT），該算法克服在線主題模型在事件偵測(cè)應(yīng)用中的兩個(gè)缺陷（噪聲詞和多重事件）。TEDT算法通過

6、計(jì)算事件出現(xiàn)的概率來度量詞之間的距離，使用了流聚類算法得到了一個(gè)主題對(duì)應(yīng)的最高概率事件。TEDT算法還能夠通過偵測(cè)到事件的主題，在時(shí)間域內(nèi)追蹤事件的變化。最后，TEDT算法提出事件可視化方案來展示算法發(fā)現(xiàn)的主題事件。在博客數(shù)據(jù)和Reuter新聞數(shù)據(jù)上的實(shí)驗(yàn)結(jié)果表明TEDT算法事件發(fā)現(xiàn)的效果優(yōu)于傳統(tǒng)主題模型算法。
　　(4)面對(duì)文本和鏈接數(shù)據(jù)的協(xié)同聚類問題，提出作者、主題、社區(qū)模型(ATCModel)。ATC模型使用概率生成模型對(duì)社

7、會(huì)化媒體中的用戶數(shù)據(jù)（文檔和鏈接）的出現(xiàn)進(jìn)行建模。該模型通過對(duì)用戶發(fā)表文章和用戶之間鏈接關(guān)系的協(xié)同聚類，使用用戶主題的知識(shí)彌補(bǔ)用戶鏈接數(shù)據(jù)中的缺失信息，得到對(duì)用戶興趣和社區(qū)分布的更精確更魯棒的分析。在模型的推導(dǎo)階段，本文使用變分法來估計(jì)ATC模型的參數(shù)。人工數(shù)據(jù)、博客數(shù)據(jù)、DBLP數(shù)據(jù)和DIGG數(shù)據(jù)上的結(jié)果表明ATC模型效果優(yōu)于傳統(tǒng)用戶主題模型。
　　本研究提出的五個(gè)算法中，TPS算法和GPPS算法被用作過濾網(wǎng)頁(yè)中主題無關(guān)噪聲，是

8、其他工作的前置步驟。TBE算法考同時(shí)考慮突發(fā)詞之間的共現(xiàn)關(guān)系和文本集的潛在主題信息對(duì)突發(fā)詞進(jìn)行聚類。TEDT算法過濾在線主題模型中的噪聲詞和多重事件，得到了一個(gè)主題的最相關(guān)事件。ATC模型使用用戶主題的相關(guān)彌補(bǔ)用戶鏈接數(shù)據(jù)的中的缺失信息，得到用戶興趣和用戶社區(qū)的分布。
　　總體而言，本文針對(duì)社會(huì)化媒體中信息新特性，解決具有多噪聲、高稀疏、短文本、動(dòng)態(tài)性、缺失值特點(diǎn)的數(shù)據(jù)聚類問題。提出了TPS，GPPS，TBE， TEDT及ATC等