mba論文面向用戶興趣的網(wǎng)頁分類系統(tǒng)研究與應(yīng)用pdf

1、U D C ：3 9中文圖書分類號：T P 3 9 1學(xué)校代碼：學(xué) 號：密 級：1 0 0 0 5$ 2 0 1 0 0 2 2 0 2公開北京工業(yè)大學(xué)碩士專業(yè)學(xué)位論文( 全日制)題 目 面向用戶興趣的網(wǎng)頁分類系統(tǒng)研究與應(yīng)用英文題目T H E R E S E A R C H A N D A P P L I C A T I O N O FⅥ，E BC L A S S I F I C A T I O NS Y S T E M F O RU

2、S E R ’S I N T E R R E S T S論文作者：學(xué) 科：研 究 方 向：申 請 學(xué) 位：指導(dǎo)教師：所在 單位：答辯 日 期：授予學(xué)位單位：段賀新電子與通信工程計(jì)算機(jī)應(yīng)用技術(shù)、數(shù)據(jù)挖掘工程碩士閆健卓電子信息與控制工程學(xué)院20 13 年6 月北京工業(yè)大學(xué)摘要摘要隨著信息技術(shù)的發(fā)展，互聯(lián)網(wǎng)上信息浩瀚繁雜。面對網(wǎng)上海量的信息，如何合理、有效地組織和管理網(wǎng)上信息，已經(jīng)日益成為信息處理領(lǐng)域里一個十分重要的研究課題。其中，網(wǎng)頁分類是

3、這些研究課題中的熱點(diǎn)方向。網(wǎng)頁分類即根據(jù)一定的規(guī)則，利用訓(xùn)練樣本集實(shí)現(xiàn)對待分類的網(wǎng)頁進(jìn)行自動分類。將網(wǎng)頁進(jìn)行有序組織，改善信息檢索性能及效率，提高網(wǎng)絡(luò)信息資源的利用率。W e b 日志中記錄了用戶上網(wǎng)的瀏覽記錄信息，如何根據(jù)這些信息挖掘出用戶的興趣，為用戶提供個性化服務(wù)。本文提出了在網(wǎng)頁分類的結(jié)果上，利用瀏覽內(nèi)容分析和瀏覽時間來構(gòu)建用戶興趣模型。網(wǎng)頁分類是在傳統(tǒng)的文本分類基礎(chǔ)上，結(jié)合網(wǎng)頁的半結(jié)構(gòu)化特征來進(jìn)行區(qū)分。網(wǎng)頁不同于傳統(tǒng)文本，在包

4、含大量文本信息的同時，也包含大量的噪聲信息如廣告、超鏈接等其他信息。如何去除這些噪聲信息，實(shí)現(xiàn)網(wǎng)頁的正文提取是網(wǎng)頁分類預(yù)處理階段的重要步驟? 本文在最大連續(xù)子序列和基礎(chǔ)上，提出基于它的網(wǎng)頁正文抽取算法，將過濾之后的主題型網(wǎng)頁變成正負(fù)相交的數(shù)字序列，求出最大的連續(xù)子序列和，該序列的起始位置和結(jié)束位置即為網(wǎng)頁正文的起始位置和結(jié)束位置?？紤]到異常情況，將求取最大連續(xù)子序列和轉(zhuǎn)變?yōu)榍蟾髯訁^(qū)間和大于某一閾值的正文，最后判斷該正文區(qū)間是否大于設(shè)定的

5、正文度，最后整理成網(wǎng)頁正文。同時，在網(wǎng)頁分類和用戶W e bE t 志的基礎(chǔ)上，將網(wǎng)頁分類的結(jié)果應(yīng)用于用戶興趣模型的計(jì)算上。采用二層樹狀模型來構(gòu)建用戶興趣模型。該模型分為兩級節(jié)點(diǎn)：第一級節(jié)點(diǎn)代表用戶某一類興趣，以主題詞( 或者是關(guān)鍵詞) 和它的權(quán)值表示；第二級節(jié)點(diǎn)，即是葉子節(jié)點(diǎn)代表了用戶某一類興趣的特征向量。其中第一級節(jié)點(diǎn)的興趣權(quán)值轉(zhuǎn)化為基于用戶瀏覽時間到用戶興趣權(quán)值的映射公式，使權(quán)值計(jì)算更加準(zhǔn)確。二級節(jié)點(diǎn)采用根據(jù)特征刪除、特征泛化之后

6、特征向量。最后，本文進(jìn)行網(wǎng)頁分類系統(tǒng)的設(shè)計(jì)及實(shí)現(xiàn)，將網(wǎng)頁分類系統(tǒng)分為日志處理子系統(tǒng)、網(wǎng)頁分類子系統(tǒng)及興趣計(jì)算子系統(tǒng)，其中網(wǎng)頁分類子系統(tǒng)是本文撰寫重點(diǎn)。網(wǎng)頁分類子系統(tǒng)分為網(wǎng)頁正文提取、中文分詞、特征選擇、網(wǎng)頁分類這四個模塊，每個模塊給出算法實(shí)現(xiàn)的流程圖及詳細(xì)步驟解釋。通過對K N N 算法和N a i v eB a y e s 算法在準(zhǔn)確率和效率上的對比，系統(tǒng)采用N a i v e B a y e s 算法進(jìn)行網(wǎng)頁分類的核心算法。最后采用