基于FCA的信息檢索模型研究及應(yīng)用.pdf

1、在Internet上使用搜索引擎檢索信息己成為人們獲取信息的重要手段，然而，這并不表明目前的信息檢索技術(shù)已經(jīng)讓人們滿意。目前大部分中文搜索引擎的查詢技術(shù)基本上都是基于關(guān)鍵詞匹配的，在這里“關(guān)鍵字”僅僅是出現(xiàn)在網(wǎng)頁(yè)中的符號(hào)而已，它所指代的語(yǔ)義并沒(méi)有被使用。頁(yè)面分析所依據(jù)的也是存在于頁(yè)面之間的鏈接關(guān)系，它不能表示這些頁(yè)面本身包含什么信息，這就決定了搜索引擎還不能很好地處理頁(yè)面信息的語(yǔ)義。因此，如何表達(dá)信息需求，如何展示／瀏覽搜索結(jié)構(gòu)，如何對(duì)

2、個(gè)性化的信息需求建立模型等等，是未來(lái)搜索引擎應(yīng)該追求的方向，基于概念的智能檢索才符合信息檢索的需求。 形式概念分析(Fornlal Concept Analysis，以下簡(jiǎn)稱FCA)的主要內(nèi)容是研究“概念”和“概念分層”的數(shù)學(xué)化描述，其主要思想是：從被表示為形式背景(fornlal context)的數(shù)據(jù)中獲取形式概念(formal concept)以及形式概念之間的聯(lián)系，形成一種以形式概念為元素的格結(jié)構(gòu)——概念格(concep

3、t lattice)。使用FCA從數(shù)據(jù)中獲取概念與其它基于統(tǒng)計(jì)的傳統(tǒng)數(shù)據(jù)分析方法不同，F(xiàn)CA用概念表示數(shù)據(jù)分析的結(jié)果，用概念格顯示知識(shí)視圖。 如何將FCA對(duì)概念的數(shù)學(xué)描述應(yīng)用在信息檢索中，尤其是如何為FCA搜索引擎(Search Engine)建立基于形式背景的信息檢索模型(Information RetrievalModel，以下簡(jiǎn)稱IR模型)，這是本文工作的中心任務(wù)。 本文結(jié)合形式背景定義建立IR模型，我們定義文檔集

4、為形式背景的對(duì)象集，屬性集是能夠代表文檔特征的關(guān)鍵詞集合的子集。從這樣的形式背景中抽取出文檔集與關(guān)鍵詞之間，以及文檔與文檔之間在概念層次上的關(guān)系，用概念格體現(xiàn)形式概念之間的關(guān)系。在搜索引擎中可以在概念格的視圖上對(duì)用戶進(jìn)行導(dǎo)航。由于對(duì)象集中的文檔是動(dòng)態(tài)添加的，而屬性集也將對(duì)應(yīng)的做出調(diào)整，所以我們用Godin造格算法造格。形式背景的對(duì)象集合和屬性集合的確立決定了概念格的結(jié)構(gòu)，并將直接影響用戶在格上瀏覽的效率和FCASE系統(tǒng)的查全率和查準(zhǔn)率。

5、因此，如何建立形式背景，即如何為FCASE系統(tǒng)建立IR模型是整個(gè)系統(tǒng)中最關(guān)鍵的一步。尤其是屬性集的選擇，決定了搜索引擎的性能。本文提出了基于形式背景的IR模型并進(jìn)一步提出了“屬性抽取算法”。 屬性抽取算法的基本思想為：對(duì)文檔進(jìn)行分詞處理，統(tǒng)計(jì)每個(gè)詞的詞頻，計(jì)算其tf*jdf值，根據(jù)權(quán)值調(diào)整規(guī)則，計(jì)算權(quán)重weight值，最后選擇合適的閾值λ限定屬性個(gè)數(shù)，構(gòu)造形式背景，建立IR模型。 實(shí)驗(yàn)證明屬性抽取算法提煉出形式背景，構(gòu)造

6、基于FCA的IR模型的可行性。FCA-IR模型的優(yōu)越性體現(xiàn)在對(duì)數(shù)據(jù)源的組織方面，反映出文檔之間潛在的聚類關(guān)系。結(jié)合形式背景的約簡(jiǎn)等手段，該模型為用戶提供了一種有實(shí)用價(jià)值的基于概念格對(duì)文檔進(jìn)行聚類和瀏覽的方法?；贔CA的IR模型的實(shí)用價(jià)值和性能在基FCA的搜索引擎(FCA SE)系統(tǒng)中得到了驗(yàn)證。 本文的主要貢獻(xiàn)如下： (1)提出了基于FCA的檢索模型，并通過(guò)實(shí)驗(yàn)驗(yàn)證了該模型的可行性和正確性。 (2)提出了基于文