Web文本信息過濾方法研究.pdf

1、隨著Internet的發(fā)展，網(wǎng)上的信息量在飛速的增長。同時，信息的內(nèi)容也逐漸多樣化，各式各樣的內(nèi)容涌現(xiàn)到網(wǎng)民面前，其中不免有些不良和不安全信息的存在。如何有效的從眾多的信息中盡快的獲取真正所需要的內(nèi)容？如何避免不良和不安全的信息在網(wǎng)上傳播？信息過濾為其提供了一種解決方案。
　　 Internet上的信息大部分是以Web文本的形式出現(xiàn)的。對Web文本內(nèi)容進行過濾，涉及的主要技術(shù)包括：中文分詞、特征提取、文本分類等。中文文本信息過濾

2、的過程一般是把整個文本進行中文分詞，根據(jù)特征項將文本轉(zhuǎn)換成向量的形式，通過一定的數(shù)學模型對向量進行計算，根據(jù)計算結(jié)果對文本進行分類。過濾的實質(zhì)是在用戶閱讀信息之前先代替用戶對文本的內(nèi)容類別做出選擇，把與用戶需求無關(guān)的內(nèi)容過濾掉，以提高用戶獲取信息的效率。
　　 基于多層次的Web文本信息過濾方法是模仿人類信息過濾的方法而提出的。人們平時看報紙或書籍時，先對報紙或書籍進行瀏覽，根據(jù)標題或者書的目錄選出喜愛的文章，再去詳細的閱讀。方