Web挖掘技術(shù)及其在互聯(lián)網(wǎng)中的應(yīng)用研究.pdf

1、隨著信息技術(shù)的不斷發(fā)展，計(jì)算機(jī)與通信技術(shù)不僅推動(dòng)著現(xiàn)代社會(huì)的信息化發(fā)展，而且同時(shí)影響并在改變著人們的現(xiàn)代生活。然而信息技術(shù)同時(shí)帶來了數(shù)據(jù)的爆炸式增長(zhǎng)，人們迫切需要一種對(duì)海量數(shù)據(jù)進(jìn)行有效利用和處理的解決方案。在這樣的大數(shù)據(jù)背景下，數(shù)據(jù)挖掘技術(shù)應(yīng)運(yùn)而生。Web挖掘技術(shù)作為該領(lǐng)域的一個(gè)分支，針對(duì)的是萬維網(wǎng)海量數(shù)據(jù)的有效梳理和運(yùn)用。由于互聯(lián)網(wǎng)技術(shù)日新月異，而Web挖掘技術(shù)相對(duì)發(fā)展較晚，因此本文以Web挖掘作為研究核心，并深入分析其在互聯(lián)網(wǎng)領(lǐng)域的

2、應(yīng)用。
　　 本文首先介紹了Web技術(shù)的研究背景、現(xiàn)狀、技術(shù)難點(diǎn)和未來發(fā)展方向等方面，以及對(duì)數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)等相關(guān)概念做了深入說明。然后，繼續(xù)關(guān)注Web挖掘技術(shù)的實(shí)現(xiàn)過程和應(yīng)用場(chǎng)景，介紹了文本預(yù)處理的核心實(shí)現(xiàn)過程和話題檢測(cè)與追蹤、用戶行為分析兩個(gè)應(yīng)用的技術(shù)背景。
　　 作為Web內(nèi)容挖掘技術(shù)的一個(gè)重要應(yīng)用之一，話題檢測(cè)與動(dòng)態(tài)追蹤旨在檢測(cè)未知話題并且追蹤已有話題的后續(xù)發(fā)展。
　　 針對(duì)網(wǎng)絡(luò)媒介上新聞事件報(bào)道類文本

3、對(duì)象的話題檢測(cè)與動(dòng)態(tài)追蹤問題，本文實(shí)現(xiàn)了一種混合聚類解決方案。本方案基于“貢獻(xiàn)度”對(duì)話題模型做了層次化調(diào)整，更加適合于構(gòu)建互聯(lián)網(wǎng)新聞話題，而且效率性能有了大幅提升。實(shí)際互聯(lián)網(wǎng)新聞數(shù)據(jù)表明，與K-Means算法相比，本方案準(zhǔn)確率和召回率有了顯著提升，并且構(gòu)建的話題樹模型層次化效果明顯。
　　 針對(duì)中文微博類文本對(duì)象的話題檢測(cè)與動(dòng)態(tài)追蹤問題，本文提出了一種基于主題詞的增量式模糊聚類解決方案。本方案首先根據(jù)微博自身的文本特點(diǎn)，提出了一

4、套信息反垃圾的過濾方案。然后利用時(shí)效性和詞頻兩個(gè)因素，為主題詞建立適應(yīng)微博特點(diǎn)的權(quán)重。最后利用增量式模糊聚類方法完成突發(fā)話題的檢測(cè)過程。實(shí)際微博數(shù)據(jù)表明，本方案可以有效地檢測(cè)出突發(fā)事件、熱點(diǎn)話題等，而且時(shí)間效率較為理想。
　　 作為Web使用挖掘技術(shù)的一個(gè)重要應(yīng)用之一用戶行為分析旨在了解用戶習(xí)慣、興趣點(diǎn)等，分析評(píng)測(cè)用戶的產(chǎn)品滿意度，以便改善產(chǎn)品提升用戶體驗(yàn)。
　　 針對(duì)搜索引擎的用戶滿意度評(píng)測(cè)，本文闡述了一種基于用戶使用