垂直搜索引擎中分詞和排序技術(shù)的研究與應(yīng)用.pdf

1、計(jì)算機(jī)與網(wǎng)絡(luò)信息技術(shù)的快速發(fā)展，促使當(dāng)今社會(huì)進(jìn)入了網(wǎng)絡(luò)信息時(shí)代，各個(gè)領(lǐng)域的數(shù)據(jù)和信息急劇增多，海量數(shù)據(jù)豐富了人們的生活，同時(shí)也增加了用戶對(duì)信息的篩選時(shí)間。如何從這些雜亂無章的龐大數(shù)據(jù)和強(qiáng)干擾的信息中搜索出有利用價(jià)值的信息，這對(duì)人類的智能信息處理能力提出了空前的挑戰(zhàn)。在某些專業(yè)領(lǐng)域，通用搜索引擎的信息查全率和查準(zhǔn)率都在不斷下降，而用戶對(duì)獲取更加精準(zhǔn)和詳細(xì)的專業(yè)信息的需求卻在不斷增長(zhǎng)。
　　面對(duì)這些挑戰(zhàn)，誕生了針對(duì)特定領(lǐng)域和個(gè)性化信息

2、檢索的垂直搜索引擎。基于Lucene的垂直搜索引擎已經(jīng)成為當(dāng)今搜索引擎和Web信息挖掘中的一個(gè)研究熱點(diǎn)和難點(diǎn)，本文的研究就是以這一熱點(diǎn)和難點(diǎn)技術(shù)而展開的，主要工作如下:
　　第一，對(duì)垂直搜索引擎的相關(guān)研究進(jìn)展和現(xiàn)狀進(jìn)行了分析，介紹了垂直搜索引擎的組成并細(xì)述了其工作原理;概述了全文檢索引擎Lucene的相關(guān)技術(shù)，包括Lucene框架構(gòu)成、索引技術(shù)和搜索機(jī)制等，并對(duì)Lucene索引和數(shù)據(jù)庫索引進(jìn)行了比較。
　　第二，針對(duì)通用分詞

3、系統(tǒng)對(duì)領(lǐng)域分詞的效果不理想這一問題，研究了垂直搜索引擎的中文分詞算法;分析圖書領(lǐng)域詞匯的特點(diǎn)，提出了一種帶詞長(zhǎng)的雙字哈希詞典機(jī)制，并在此機(jī)制的基礎(chǔ)上改進(jìn)了正向最大匹配分詞算法;
　　第三，針對(duì)Lucene中排序技術(shù)只關(guān)注網(wǎng)頁內(nèi)容而忽視網(wǎng)頁本身的重要性這一問題，研究了基于鏈接的網(wǎng)頁排序算法;在考慮圖書數(shù)據(jù)特點(diǎn)和網(wǎng)頁的重要性的基礎(chǔ)上，改進(jìn)了基于PageRank的Lucene排序算法。
　　第四，在分詞和排序改進(jìn)的基礎(chǔ)上，設(shè)計(jì)和實(shí)