2023年全國碩士研究生考試考研英語一試題真題(含答案詳解+作文范文)_第1頁
已閱讀1頁,還剩64頁未讀, 繼續(xù)免費閱讀

下載本文檔

版權說明:本文檔由用戶提供并上傳,收益歸屬內容提供方,若內容存在侵權,請進行舉報或認領

文檔簡介

1、無處不在的網(wǎng)絡、無處不在的通訊和堆積如山的文檔,構成了當今社會信息爆炸的基本特征。BBS是目前最流行的網(wǎng)上討論場所之一,越來越受到網(wǎng)絡用戶的歡迎。因此,在Web論壇上會產(chǎn)生大量的新的內容,這也使得人們對信息的獲得變得越來越難。當然,人們打開論壇,首先關心的是該論壇內討論最激烈最有價值的話題是什么。但是當面對如此龐大且繁雜的數(shù)據(jù),獲取這種熱門的話題如此之難。為了解決這個難題,本文提出了基于語義和時間推移的單遍聚類方法來發(fā)現(xiàn)BBS中的熱點話

2、題,該方法是在深入分析和研究BBS的結構、語言模式、文本特點的基礎上得出的。
   首先,針對BBS論壇上的數(shù)據(jù)設計了相應的封閉式的網(wǎng)絡蜘蛛,將Web網(wǎng)頁上的帖子相關網(wǎng)頁下載到本地供以后使用。以西祠胡同的十個教育版塊為例,抓取了每個版塊前十頁的內容。
   其次,針對抓取的信息進行信息抽取,并將抽取的結構化的數(shù)據(jù)信息存入本地數(shù)據(jù)庫中。這里針對西祠胡同頁面的語言模式特點和網(wǎng)頁結構分布的規(guī)律,提出了一種基于網(wǎng)頁結構和正則匹配

3、的BBS信息抽取方法,該抽取方法能夠高效且準確的抽取出BBS中的信息。
   接著,由于BBS文本的非規(guī)范性導致很多帖子的內容根本沒有實際的含義,因此在文本表示時首先需進行預處理,包括分詞、去停用詞、去噪等。然后對剩下的詞通過同義詞詞林進行語義的映射,將BBS中非規(guī)范的詞轉成相對規(guī)范的詞,有助于帖子語義信息的處理,將用不同表達方式表達的語句映射為類似方式表達的語句。
   緊接著,對已經(jīng)處理好的信息進行基于單遍聚類處理以

4、發(fā)現(xiàn)話題。在進行聚類處理時考慮到帖子的時間特性及內容特性,認為每個帖子的熱度是隨著時間的發(fā)展而降低的,因此采取一種基于語義及時間推移的單遍聚類方法,在聚類的同時計算每個主題的能量值,話題的總能量值就是組成該話題帖子的能量值之和。
   最后,對于前面已經(jīng)生成的話題,進行熱度的排序。這里熱度高低的評價方法包含兩個部分,一是用戶的關注度,二是話題的爆發(fā)性。用戶的關注度可從統(tǒng)計的角度來計算,包括瀏覽數(shù)、回復數(shù)、參與人數(shù)等。話題的爆發(fā)性

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
  • 4. 未經(jīng)權益所有人同意不得將文件中的內容挪作商業(yè)或盈利用途。
  • 5. 眾賞文庫僅提供信息存儲空間,僅對用戶上傳內容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內容本身不做任何修改或編輯,并不能對任何下載內容負責。
  • 6. 下載文件中如有侵權或不適當內容,請與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論