版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進(jìn)行舉報或認(rèn)領(lǐng)
文檔簡介
1、新聞聚類系統(tǒng)誕生于互聯(lián)網(wǎng)的浪潮中,是個性化新聞推薦引擎的核心部分,聚類的結(jié)果直接影響到推薦的效果。一個完整的新聞聚類系統(tǒng)包含了網(wǎng)絡(luò)爬蟲模塊,負(fù)責(zé)數(shù)據(jù)源的獲取;正文提取模塊,負(fù)責(zé)數(shù)據(jù)清洗,去除噪音;聚類算法模塊,負(fù)責(zé)新聞的最終分類。優(yōu)質(zhì)的數(shù)據(jù)源是算法有效運行的必要條件,也是實際應(yīng)用中舉足輕重的環(huán)節(jié)。如何設(shè)計一個抓取速度快而且網(wǎng)頁重復(fù)率低的網(wǎng)絡(luò)爬蟲以及文本提取準(zhǔn)確率高的正文提取算法一直是研究的熱點。本文正是在此背景下,以實現(xiàn)一個實際可用的新
2、聞聚類系統(tǒng)作為研究目標(biāo),致力于尋找高效的網(wǎng)頁去重算法和精確的正文提取算法。本文的主要工作內(nèi)容包括:
首先,本文針對傳統(tǒng)的網(wǎng)絡(luò)爬蟲架構(gòu)進(jìn)行了深入分析,并針對網(wǎng)頁去重的機(jī)制進(jìn)行了著重解析。在傳統(tǒng)去重策略中,多數(shù)是在網(wǎng)頁下載之前對URL進(jìn)行去重,這樣能夠過濾掉相同URL的網(wǎng)頁。但是在新聞推薦系統(tǒng)中,除了有大量的第一手網(wǎng)頁,同時為數(shù)不少的二手新聞存在于互聯(lián)網(wǎng),比如各大網(wǎng)站轉(zhuǎn)載其他網(wǎng)站的新聞。在這種情況下,雖然URL不同,整個頁面也是不
3、同的,比如由于各個網(wǎng)站插入的廣告不同,但是完全有可能網(wǎng)頁的正文內(nèi)容是一樣的。而對于讀者來說,是不希望看到這種新聞內(nèi)容一致的網(wǎng)頁。針對這種情況本文給出了一種解決辦法,對于下載的網(wǎng)頁進(jìn)行第二次網(wǎng)頁去重。對于原始的HTML網(wǎng)頁,提取出新聞標(biāo)題,通過哈希檢測是否存在相同標(biāo)題從而丟棄相同內(nèi)容的網(wǎng)頁。通過大量實驗驗證了算法的有效性。在已有的去重策略基礎(chǔ)上平均提升0.48%的去重率。
其次,針對已有的正文提取算法進(jìn)行了介紹,在基于統(tǒng)計的正文
4、提取算法的基礎(chǔ)上提出了基于統(tǒng)計與標(biāo)題和正文位置關(guān)系的正文提取算法。該算法將標(biāo)題的作用考慮在內(nèi),首先將
5、大量的實驗驗證了算法的有效性,算法的平均正確率達(dá)到了97.83%,遠(yuǎn)遠(yuǎn)高于傳統(tǒng)的正文提取算法。
最后,在已有的網(wǎng)絡(luò)爬蟲和正文提取的基礎(chǔ)上設(shè)計實現(xiàn)了新聞聚類系統(tǒng)。針對大量網(wǎng)頁的處理設(shè)計了分布式架構(gòu),并且在Hadoop平臺上實現(xiàn)了MapReduce模式的開發(fā)任務(wù)。整個系統(tǒng)包含了5個不同的MapReduce任務(wù),分別為分詞、去停用詞、統(tǒng)計詞頻任務(wù),計算每個網(wǎng)頁的單詞數(shù)目任務(wù),計算TFIDF任務(wù),建立網(wǎng)頁向量任務(wù)和K-Means計算任
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 眾賞文庫僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 基于文本相似度計算的文本聚類算法研究與實現(xiàn).pdf
- 基于AP算法的文本聚類研究與實現(xiàn).pdf
- 基于云計算的文本聚類算法研究.pdf
- 基于計算智能的文本聚類算法研究.pdf
- 基于K-means算法的文本聚類的研究與實現(xiàn).pdf
- 基于DK-Means算法的文本聚類的研究與實現(xiàn).pdf
- 基于譜聚類的文本聚類算法研究.pdf
- 中文文本聚類算法的研究與實現(xiàn).pdf
- 基于MapReduce的文本聚類算法并行化研究與實現(xiàn).pdf
- 基于DBSCAN的文本聚類算法研究.pdf
- 基于NMF算法的文本聚類研究.pdf
- 基于Hadoop的高性能文本聚類算法的設(shè)計與實現(xiàn).pdf
- 文本聚類算法的語義性改進(jìn)與實現(xiàn).pdf
- 基于模糊C均值算法在文本聚類中的研究與實現(xiàn).pdf
- 基于k-平均算法的文本聚類系統(tǒng)研究與實現(xiàn).pdf
- 基于k-means的中文文本聚類算法的研究與實現(xiàn).pdf
- 基于遺傳的文本軟聚類研究與實現(xiàn).pdf
- 基于hSync算法的文本聚類方法研究.pdf
- 基于語義的短文本聚類算法研究.pdf
- 基于文本聚類的特征選擇算法研究.pdf
評論
0/150
提交評論