面向主題的網(wǎng)頁過濾機制研究.pdf

1、隨著Internet的日益普及和迅猛發(fā)展，人們對網(wǎng)絡(luò)的依賴程度越來越高，但Internet的開放性、平等性、無界性等特征又導致了網(wǎng)絡(luò)的無限制濫用，大量的垃圾及敏感信息充斥于網(wǎng)絡(luò)，如何濾除這些垃圾及敏感信息，消除網(wǎng)絡(luò)帶來的消極及負面影響已成為Internet信息服務(wù)須解決的關(guān)鍵問題之一。解決這一問題的最有效技術(shù)手段就是進行信息過濾。 文章在研究信息過濾一般原理及常用網(wǎng)頁過濾技術(shù)的基礎(chǔ)上，以需求為驅(qū)動，從功能的角度出發(fā)，提出并構(gòu)建了

2、一個基于主題的網(wǎng)頁過濾體系，并對該體系進行了較為深入的研究，主要的研究工作和取得的創(chuàng)新成果有以下幾個主要方面： 首先，分析了目前Internet中傳播的各種信息流，根據(jù)過濾需求對網(wǎng)絡(luò)中需要過濾的信息進行了分類，明確定義了研究的主題領(lǐng)域，在此基礎(chǔ)上，設(shè)計了一個面向主題的信息過濾系統(tǒng)TSIFS，該系統(tǒng)采用分層的網(wǎng)頁過濾策略，在信息過濾的分類方案中引入了神經(jīng)網(wǎng)絡(luò)技術(shù)，利用神經(jīng)網(wǎng)絡(luò)的學習能力及適應(yīng)性彌補一般過濾機制的不足，從而可以提高了

3、網(wǎng)頁過濾的準確性。 其次，為了處理的方便性，通過歸一化策略將Web頁面包含的多類型數(shù)據(jù)變換為文本信息進行處理，在這一變換過程中結(jié)合了主題信息的過濾特征，利用主題專業(yè)詞匯及人工編輯辭典完成了文本向量的表示，設(shè)計了一個新的特征詞權(quán)重函數(shù)；另外還提出并設(shè)計了一種頁面字符編碼的判別算法。 再次，利用BP網(wǎng)絡(luò)構(gòu)建了基于神經(jīng)網(wǎng)絡(luò)的過濾信息分類模型，構(gòu)造了TSIFS中的過濾引擎處理機制，并對涉及的輸入向量正規(guī)化、參數(shù)選擇等關(guān)鍵問題進行