基于領(lǐng)域的信息分類和搜索技術(shù)的研究.pdf

1、隨著互聯(lián)網(wǎng)的快速發(fā)展，網(wǎng)絡(luò)信息資源量爆炸性的增長(zhǎng)，使得人們從浩瀚的信息世界里查詢到自己所需要的信息越來越困難，于是需要借助搜索引擎來進(jìn)行查詢。目前已成熟的大型通用搜索引擎有谷歌和百度等，它們已經(jīng)實(shí)現(xiàn)了強(qiáng)大的搜索功能，但在一定程度上不能滿足用戶對(duì)特定領(lǐng)域信息的搜索需求，存在一些問題，如檢索的反饋量過大，甚至返回結(jié)果中有時(shí)經(jīng)常包含一些廣告信息等，為此基于領(lǐng)域的快速準(zhǔn)確的搜索引擎成了迫切的需要。 基于領(lǐng)域的搜索引擎也可稱為主題型搜索引

2、擎或?qū)I(yè)垂直搜索引擎，從情報(bào)信息服務(wù)的角度而言，也可稱之為專題搜索引擎，主要用于從因特網(wǎng)上搜索和查詢某一特定領(lǐng)域的信息與知識(shí)。目前，基于領(lǐng)域的搜索引擎主要分成兩類：一類是基于內(nèi)容的搜索，其內(nèi)部包含一個(gè)針對(duì)特定主題的關(guān)鍵詞表，搜索引擎的網(wǎng)絡(luò)機(jī)器人(也稱網(wǎng)絡(luò)蜘蛛或爬行器)根據(jù)該關(guān)鍵詞表對(duì)網(wǎng)絡(luò)信息進(jìn)行檢索。另一類是基于網(wǎng)頁鏈接分析的檢索，通過分析網(wǎng)頁之間的鏈接的匯聚性，搜索與主題相關(guān)的信息。本課題采用的是基于內(nèi)容的搜索。基于領(lǐng)域的搜索引擎面向

3、特定專題或?qū)W科領(lǐng)域，以互聯(lián)網(wǎng)網(wǎng)絡(luò)信息資源為對(duì)象，利用計(jì)算機(jī)自動(dòng)搜集符合該特定專題或?qū)W科所需的信息資源，是當(dāng)前科研院所，教學(xué)單位以及數(shù)字資源建設(shè)中網(wǎng)絡(luò)信息資源采集的有力工具。 與大型綜合性通用搜索引擎相比，基于領(lǐng)域的搜索引擎主要具有以下幾個(gè)特點(diǎn)：其一，由于專注于某一特定學(xué)科領(lǐng)域，可以利用專業(yè)詞匯表進(jìn)行規(guī)范和控制，對(duì)相應(yīng)的關(guān)鍵詞進(jìn)行深入的分析和研究，大大提高了查全率與查準(zhǔn)率。其二，由于采集的信息專業(yè)性強(qiáng)，數(shù)量較少，可以由專家對(duì)自動(dòng)采

4、集的信息進(jìn)一步分類標(biāo)引，進(jìn)一步優(yōu)化和組織整理，提高信息的質(zhì)量，建立起一個(gè)高質(zhì)量的、專業(yè)信息收錄全面并能夠?qū)崟r(shí)更新的索引數(shù)據(jù)庫。其三，由于索引的數(shù)據(jù)庫規(guī)模小，有利于縮短查詢響應(yīng)的時(shí)間，可以采用復(fù)雜的查詢語法，提高用戶的準(zhǔn)確查詢精度。 但是，目前基于領(lǐng)域的搜索引擎檢索功能上和通用搜索引擎相比顯得過于簡(jiǎn)單，其中一些只有簡(jiǎn)單關(guān)鍵詞檢索功能，檢索詞間邏輯關(guān)系的限定不是很全面，從檢索界面語言上看，專業(yè)搜索引擎的界面語言單一，大部分為英文檢索

5、界面，不能選擇設(shè)定其他語種。Agriscape雖然提供有4種語言檢索界面，但只有英語界面才能進(jìn)行檢索，其他語種界面實(shí)際上是收錄相應(yīng)語言網(wǎng)站的目錄。而這些英語界面的專業(yè)搜索引擎也僅支持英文關(guān)鍵詞檢索，不能進(jìn)行交叉語言檢索，因此專業(yè)搜索引擎的檢索功能有待進(jìn)一步的完善。 綜上，本課題提出一種針對(duì)特定領(lǐng)域的基于數(shù)據(jù)挖掘算法的中文搜索引擎設(shè)計(jì)方案，結(jié)合上面幾種方式的優(yōu)點(diǎn)，將改進(jìn)的關(guān)聯(lián)規(guī)則算法應(yīng)用于文本聚類中，支持用戶用中文自然語言檢索，實(shí)