WEB環(huán)境下的社會網(wǎng)絡(luò)挖掘研究.pdf

1、社會網(wǎng)絡(luò)研究是理解社會現(xiàn)象,預(yù)測人類行為,分析社會結(jié)構(gòu)的重要工具。進(jìn)入Web2.0時(shí)代以來,龐大的Web用戶群體、頻繁的Web用戶互動和海量的Web內(nèi)容構(gòu)成了巨大的Web社會網(wǎng)絡(luò),使Web環(huán)境下的社會網(wǎng)絡(luò)挖掘成為信息技術(shù)領(lǐng)域的新熱點(diǎn)問題。在Web環(huán)境下進(jìn)行社會網(wǎng)絡(luò)挖掘?qū)τ诶斫釽eb用戶的行為模式,改進(jìn)各種Web應(yīng)用如推薦、信息檢索、網(wǎng)絡(luò)輿情監(jiān)測等系統(tǒng)的效果,從而帶來更好的用戶體驗(yàn),提高社會生產(chǎn)效率具有重要的作用。
　　 Web環(huán)

2、境下的社會網(wǎng)絡(luò)挖掘需要面臨以下幾個(gè)主要的問題。首先,Web中的社會網(wǎng)絡(luò)是隱含的、模糊的:其次,Web數(shù)據(jù)中包含著用戶創(chuàng)造的海量內(nèi)容,具有豐富的語義;第三,Web數(shù)據(jù)中有大量垃圾內(nèi)容和垃圾鏈接;第四,Web數(shù)據(jù)的高度異構(gòu)和類型繁雜使得Web上的社會網(wǎng)絡(luò)不能用單一類型的節(jié)點(diǎn)和單一類型的關(guān)系來描述.研究Web環(huán)境下的社會網(wǎng)絡(luò)挖掘需要重點(diǎn)解決以上這些問題。
　　 本文主要研究目標(biāo)是Web上的文本數(shù)據(jù),針對Web隱含的模糊的社會網(wǎng)絡(luò)問題,

3、Web社會網(wǎng)絡(luò)的豐富語義問題,Web垃圾內(nèi)容問題,以及多關(guān)系和多節(jié)點(diǎn)類型的多模社會網(wǎng)絡(luò)問題,通過對用戶行為的分析,采用基于矩陣的、基于生成模型的和基于馬爾可夫鏈的Web社會網(wǎng)絡(luò)建模方法,以達(dá)到抽取隱含社會網(wǎng)絡(luò)、理解社會網(wǎng)絡(luò)語義、識別垃圾內(nèi)容、評測數(shù)據(jù)質(zhì)量和挖掘多模社會網(wǎng)絡(luò)的目標(biāo),并實(shí)現(xiàn)專家檢索等Web應(yīng)用。
　　 本文的研究對象包括Web論壇和企業(yè)、學(xué)術(shù)領(lǐng)域的數(shù)據(jù)。采用線程討論的Web論壇是Web上寶貴的海量知識庫,企業(yè)、學(xué)術(shù)領(lǐng)

4、域數(shù)據(jù)包含大量專業(yè)知識,他們是進(jìn)行數(shù)據(jù)挖掘和知識發(fā)現(xiàn)的重要對象。Web論壇中具有大量的垃圾內(nèi)容。企業(yè)、學(xué)術(shù)領(lǐng)域數(shù)據(jù)中具有多種類型的實(shí)體和關(guān)系。針對這兩個(gè)數(shù)據(jù)源,本文的研究工作和創(chuàng)新內(nèi)容包括:
　　 -用戶行為分析在網(wǎng)絡(luò)論壇中,用戶發(fā)帖參與討論,由此和其他用戶進(jìn)行密切的互動。為了更好的理解網(wǎng)絡(luò)論壇中用戶的社交行為和發(fā)文行為,本文通過大量統(tǒng)計(jì)分析,發(fā)現(xiàn)論壇用戶的發(fā)帖數(shù)量和質(zhì)量差異很大,揭示論壇社會網(wǎng)絡(luò)的回復(fù)關(guān)系、好友關(guān)系和相識關(guān)系對

5、于論壇用戶的興趣傳播和專家知識傳播具有明顯作用。
　　 -基于稀疏編碼的論壇數(shù)據(jù)建模線程討論具有結(jié)構(gòu)和語義同步變化,相互影響的特性。針對現(xiàn)有的研究工作普遍對語義和結(jié)構(gòu)分開建模的問題,提出基于矩陣的SMSS模型,同步的對線程討論的結(jié)構(gòu)和語義建模。同時(shí),針對線程討論中語義和結(jié)構(gòu)的稀疏性,即每個(gè)帖子只覆蓋少數(shù)幾個(gè)主題、以及每個(gè)帖子只回復(fù)討論線程中的少數(shù)幾個(gè)帖子等特性,提出引入L1正則項(xiàng)在模型中對結(jié)構(gòu)和語義進(jìn)行約束。該模型能夠抽取出較為

6、精確的社會網(wǎng)絡(luò)、能夠較好的解決Web社會網(wǎng)絡(luò)的豐富語義和數(shù)據(jù)質(zhì)量問題,在垃圾內(nèi)容識別和專家檢索等應(yīng)用中取得了較好的結(jié)果。
　　 -基于生成模型的論壇數(shù)據(jù)建模方法針對SMSS模型對于垃圾內(nèi)容識別和專家檢索的解決方案較為直接簡單的問題,本文同時(shí)提出基于生成模型的論壇數(shù)據(jù)建模方法。在PLSA的優(yōu)化目標(biāo)中加入反映帖子結(jié)構(gòu)關(guān)系的正則項(xiàng),以刻畫線程討論的結(jié)構(gòu)和語義同步變化互相影響的特性;針對LDA模型不能準(zhǔn)確刻畫垃圾主題的問題,提出引入垃圾

7、主題,以區(qū)別于有意義的主題;針對論壇作者發(fā)帖質(zhì)量不同的問題,引入作者的發(fā)帖模式約束帖子的生成過程:針對現(xiàn)有專家檢索模型對未觀測到詞的概率估計(jì)不準(zhǔn)確問題,引入在上述模型中學(xué)習(xí)到的主題,擴(kuò)展專家生成查詢的過程;針對發(fā)帖數(shù)量很多但質(zhì)量很低的噪聲作者問題,在專家檢索排序中引入作者的發(fā)帖模式信息;上述模型成功應(yīng)用在語義解讀、垃圾內(nèi)容識別和專家檢索中。
　　 -基于馬爾科夫鏈的多模社會網(wǎng)絡(luò)建模方法企業(yè)、學(xué)術(shù)領(lǐng)域中存在多種類型的實(shí)體,如作者、

8、論文、個(gè)人主頁等,以及多種類型的關(guān)系如引用關(guān)系、合作關(guān)系等。為了能夠更好的利用類型信息,調(diào)整類型的影響強(qiáng)弱,本文針對多模網(wǎng)絡(luò)上的專家檢索問題,提出在Web數(shù)據(jù)中抽取多模網(wǎng)絡(luò)的框架;通過在文本中根據(jù)給定查詢自動生成轉(zhuǎn)移概率矩陣,基于馬爾可夫鏈對專家進(jìn)行排序;針對在多模網(wǎng)絡(luò)上的馬爾可夫過程計(jì)算到達(dá)專家節(jié)點(diǎn)的概率問題,提出在多模網(wǎng)絡(luò)上的馬爾可夫隨機(jī)游走過程,并證明該過程是遍歷不可約的;針對在如Enterprise和學(xué)術(shù)領(lǐng)域的應(yīng)用場景中專家檢索