mba論文面向用戶興趣的網頁分類系統(tǒng)研究與應用pdf

1、U D C ：3 9中文圖書分類號：T P 3 9 1學校代碼：學 號：密 級：1 0 0 0 5$ 2 0 1 0 0 2 2 0 2公開北京工業(yè)大學碩士專業(yè)學位論文( 全日制)題 目 面向用戶興趣的網頁分類系統(tǒng)研究與應用英文題目T H E R E S E A R C H A N D A P P L I C A T I O N O FⅥ，E BC L A S S I F I C A T I O NS Y S T E M F O RU

2、S E R ’S I N T E R R E S T S論文作者：學 科：研 究 方 向：申 請 學 位：指導教師：所在 單位：答辯 日 期：授予學位單位：段賀新電子與通信工程計算機應用技術、數(shù)據(jù)挖掘工程碩士閆健卓電子信息與控制工程學院20 13 年6 月北京工業(yè)大學摘要摘要隨著信息技術的發(fā)展，互聯(lián)網上信息浩瀚繁雜。面對網上海量的信息，如何合理、有效地組織和管理網上信息，已經日益成為信息處理領域里一個十分重要的研究課題。其中，網頁分類是

3、這些研究課題中的熱點方向。網頁分類即根據(jù)一定的規(guī)則，利用訓練樣本集實現(xiàn)對待分類的網頁進行自動分類。將網頁進行有序組織，改善信息檢索性能及效率，提高網絡信息資源的利用率。W e b 日志中記錄了用戶上網的瀏覽記錄信息，如何根據(jù)這些信息挖掘出用戶的興趣，為用戶提供個性化服務。本文提出了在網頁分類的結果上，利用瀏覽內容分析和瀏覽時間來構建用戶興趣模型。網頁分類是在傳統(tǒng)的文本分類基礎上，結合網頁的半結構化特征來進行區(qū)分。網頁不同于傳統(tǒng)文本，在包

4、含大量文本信息的同時，也包含大量的噪聲信息如廣告、超鏈接等其他信息。如何去除這些噪聲信息，實現(xiàn)網頁的正文提取是網頁分類預處理階段的重要步驟? 本文在最大連續(xù)子序列和基礎上，提出基于它的網頁正文抽取算法，將過濾之后的主題型網頁變成正負相交的數(shù)字序列，求出最大的連續(xù)子序列和，該序列的起始位置和結束位置即為網頁正文的起始位置和結束位置。考慮到異常情況，將求取最大連續(xù)子序列和轉變?yōu)榍蟾髯訁^(qū)間和大于某一閾值的正文，最后判斷該正文區(qū)間是否大于設定的

5、正文度，最后整理成網頁正文。同時，在網頁分類和用戶W e bE t 志的基礎上，將網頁分類的結果應用于用戶興趣模型的計算上。采用二層樹狀模型來構建用戶興趣模型。該模型分為兩級節(jié)點：第一級節(jié)點代表用戶某一類興趣，以主題詞( 或者是關鍵詞) 和它的權值表示；第二級節(jié)點，即是葉子節(jié)點代表了用戶某一類興趣的特征向量。其中第一級節(jié)點的興趣權值轉化為基于用戶瀏覽時間到用戶興趣權值的映射公式，使權值計算更加準確。二級節(jié)點采用根據(jù)特征刪除、特征泛化之后

6、特征向量。最后，本文進行網頁分類系統(tǒng)的設計及實現(xiàn)，將網頁分類系統(tǒng)分為日志處理子系統(tǒng)、網頁分類子系統(tǒng)及興趣計算子系統(tǒng)，其中網頁分類子系統(tǒng)是本文撰寫重點。網頁分類子系統(tǒng)分為網頁正文提取、中文分詞、特征選擇、網頁分類這四個模塊，每個模塊給出算法實現(xiàn)的流程圖及詳細步驟解釋。通過對K N N 算法和N a i v eB a y e s 算法在準確率和效率上的對比，系統(tǒng)采用N a i v e B a y e s 算法進行網頁分類的核心算法。最后采用