基于評(píng)論的博客搜索引擎的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、博客又被稱為網(wǎng)絡(luò)日志，是一種個(gè)人信息的發(fā)布形式。從個(gè)人角度來說，博客是一種表達(dá)思想，以及與他人分享有價(jià)值資源的一種方式。隨著博客用戶的激增，越來越多的各行各業(yè)的人員利用博客進(jìn)行廣泛的交流、知識(shí)的共享。當(dāng)今博客在人們獲得資源的途徑中占有重要位置。
　　隨著互聯(lián)網(wǎng)的發(fā)展，各種應(yīng)用都允許用戶進(jìn)行評(píng)論。用戶的評(píng)論則直接體現(xiàn)了用戶的情感傾向性。博客應(yīng)用也不例外，用戶總會(huì)在看到一篇高質(zhì)量的博客時(shí)忍不住留下自己的敬佩之情。因此可以認(rèn)為含有很多好

2、評(píng)的博客是一篇優(yōu)質(zhì)的博客文章。本文通過分析博客文章評(píng)論的情感來優(yōu)化博客搜索結(jié)果，使得用戶在搜索相關(guān)博客時(shí)，搜索結(jié)果在相關(guān)度的基礎(chǔ)上按照博客質(zhì)量進(jìn)行排序。本文主要工作如下：
　　首先，需要準(zhǔn)確的抓取博客的評(píng)論內(nèi)容。由于一些博客網(wǎng)站的評(píng)論內(nèi)容是由Ajax動(dòng)態(tài)生成的，傳統(tǒng)的網(wǎng)絡(luò)爬蟲不能完成動(dòng)態(tài)頁面的抓取工作，系統(tǒng)中采用phantomJS來改進(jìn)傳統(tǒng)的爬蟲。為了從抓取到的網(wǎng)頁中準(zhǔn)確提取出來評(píng)論的內(nèi)容，本文采用了一種基于特殊標(biāo)識(shí)的最大DOM樹

3、算法。該算法可以準(zhǔn)確地抽取出來網(wǎng)頁中評(píng)論的內(nèi)容。
　　其次，準(zhǔn)確提取到評(píng)論內(nèi)容之后就可以進(jìn)行情感傾向性分析。情感分析的目的是生成一個(gè)整體的評(píng)論得分，該得分作為搜索博客返回結(jié)果的排序依據(jù)。本文使用了文本分類的方法進(jìn)行文本情感傾向性分析，并通過構(gòu)建博客評(píng)論領(lǐng)域的情感詞典和改進(jìn)特征提取算法來提高文本分類的精度。
　　最后，本文在Nutch開源軟件的基礎(chǔ)之上設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)博客搜索引擎系統(tǒng)(CBlog)。Nutch系統(tǒng)本身只考慮了檢