

版權說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權,請進行舉報或認領
文檔簡介
1、隨著因特網(wǎng)的不斷普及,流數(shù)據(jù)處理逐漸受到人們的關注。相對于傳統(tǒng)的靜念數(shù)據(jù),流數(shù)據(jù)具有高度的流動性,對實時更新的要求較高。本文面向網(wǎng)絡信息內(nèi)容分析這一背景,針對流數(shù)據(jù)處理中的流文本表示問題,考察了現(xiàn)有的文本表示方法,提出并實現(xiàn)了基于后綴樹模型(STM)的流文本表示方法。該表示方法具有以下特點: ● 利用后綴樹模型動念增刪的特性,支持對流文本表示進行實時更新,直接對后續(xù)操作結果產(chǎn)生影響; ● 利用后綴樹模型快速匹配的
2、特性,可以實時獲得表示流文本的向量,不需要進行分詞以及特征提取等復雜計算: ●采用不定長匹配,得到合適的語言粒度,能夠較好地反映文本特征; ●利用了上下文的位置信息,可以為后續(xù)操作提供更多的信息量; ● 由于不需要進行分詞和特征提取,該表示方法與具體語種無關。 在此基礎上,本文將基于后綴樹的文本表示方法結合分類算法,以SDanlAssassin郵件過濾平臺為依托,實現(xiàn)了一個垃圾郵件過濾系統(tǒng)。
3、該過濾系統(tǒng)采用通用后綴樹模型(GSTM)表示訓練集中的郵件,對于到達的新郵件,利用郵件內(nèi)容的上下文位罱信息,進行文本位置的不定長多元統(tǒng)計,從而獲得新郵件與不同訓練集的相似程度,確定郵件所屬類別。理論分析和實驗表明: ●將長度為N的新郵件加入訓練集,訓練時間為O(N),滿足了訓練集的動態(tài)變化; ● 對長度為N的新郵件進行過濾,過濾時間為O(N); ●在相同語料上,該系統(tǒng)的準確率和召回率均達到或超過了其他基
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
- 4. 未經(jīng)權益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 眾賞文庫僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負責。
- 6. 下載文件中如有侵權或不適當內(nèi)容,請與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 后綴樹及其在中文文本聚類中的應用探索.pdf
- 基于Wikipedia的文本表示模型及其在文本挖掘中的應用.pdf
- 基于后綴樹的中文文本聚類算法研究.pdf
- 后綴樹全文索引模型的研究與應用.pdf
- 基于后綴樹的海量短文本聚類技術研究.pdf
- 基于聚類技術的網(wǎng)頁分類應用-基于后綴樹的中文文本聚類方法.pdf
- 短文本流中主題模型及其應用研究.pdf
- 基于文本空間表示模型的文本相似度計算研究
- 基于深度神經(jīng)網(wǎng)絡的文本表示及其應用.pdf
- 稀疏表示編碼模型及其在文本分類中的應用.pdf
- 基于后綴樹的帶有通配符的模式匹配研究.pdf
- 基于后綴語法樹的代碼抄襲檢測研究.pdf
- 基于后綴樹與后綴數(shù)組混合結構的基因序列比對算法研究.pdf
- 基于小波樹的后綴數(shù)組壓縮算法.pdf
- 一種基于后綴樹的時態(tài)XML索引研究.pdf
- 樹模式挖掘及其在樹流分類中的應用研究.pdf
- 基于KD-樹的點模型表示與空間變形算法研究.pdf
- 基于后綴樹的P2P搜索技術研究.pdf
- 文本表示模型的研究與實現(xiàn)【開題報告】
- 面向文本流的聚類樹分類方法研究.pdf
評論
0/150
提交評論