基于形式概念分析的網(wǎng)頁(yè)文本匹配研究.pdf

1、隨著互聯(lián)網(wǎng)上信息爆炸式的增長(zhǎng)，互聯(lián)網(wǎng)就像是變成了一本沒(méi)有目錄的巨大百科全書(shū)，讓人們無(wú)法找尋自己想要的信息。搜索引擎的出現(xiàn)，為這本百科全書(shū)加上了目錄和索引。在2004年，中國(guó)互聯(lián)網(wǎng)絡(luò)信息中心(CNNIC)在京發(fā)布的第十四次中國(guó)互聯(lián)網(wǎng)絡(luò)發(fā)展?fàn)顩r統(tǒng)計(jì)報(bào)告顯示：搜索引擎是用戶在互聯(lián)網(wǎng)上獲取信息最主要的方式，通過(guò)搜索引擎查找相關(guān)的網(wǎng)站：71.9％；直接訪問(wèn)已知的網(wǎng)站：23.2％；隨意瀏覽網(wǎng)站網(wǎng)頁(yè)：2.4％；通過(guò)網(wǎng)站的相關(guān)鏈接：2.4％；其他：0.

2、1％。搜索引擎的任務(wù)幫助用戶在浩如煙海的網(wǎng)上信息中用盡可能少的時(shí)間找到自己感興趣的信息。 雖然現(xiàn)在搜索引擎技術(shù)已經(jīng)有了很大發(fā)展，以谷歌、百度為代表的第二代搜索引擎已經(jīng)成為了世界上最大的搜索引擎，提供了最便捷的網(wǎng)上信息查詢方法。但是當(dāng)我們?cè)谏暇W(wǎng)查詢信息的時(shí)候還是經(jīng)常會(huì)感覺(jué)到搜索引擎所返回的結(jié)果并不是盡如人意，其中包含了大量的冗余網(wǎng)頁(yè)，這主要是因?yàn)槟壳爸髁鞯乃阉饕嬷饕捎糜脩舨樵冊(cè)~與網(wǎng)頁(yè)中的關(guān)鍵詞精確匹配的方式來(lái)向用戶返回結(jié)果。因

3、此改進(jìn)和提高搜索引擎的匹配策略，提高查詢的精確率就成了研究搜索引擎技術(shù)的一個(gè)熱點(diǎn)問(wèn)題。 本文采用了形式概念分析的方法，研究網(wǎng)頁(yè)文本的匹配，文中提出一個(gè)新匹配的策略：使用更加精確和現(xiàn)實(shí)的概念以提高過(guò)去的基于關(guān)鍵詞的匹配策略。通常，在信息檢索系統(tǒng)中“關(guān)鍵詞”是網(wǎng)頁(yè)表示的基本元素。然而，人們對(duì)自然語(yǔ)義中概念的理解一般是有概念的外延和內(nèi)涵定義的。本文使用自然語(yǔ)義的概念相似的形式概念作為網(wǎng)頁(yè)表示的基本元素，根據(jù)從每個(gè)網(wǎng)頁(yè)中提取出來(lái)的概念分

4、別為每個(gè)網(wǎng)頁(yè)建立一個(gè)概念格，并使用雙向聯(lián)想記憶存儲(chǔ)器來(lái)存儲(chǔ)這個(gè)概念格，用這些概念的外延作為形式背景的對(duì)象集合，用這些概念的內(nèi)涵作為形式背景的屬性集合，這樣，不僅可以操縱比較小的概念格，而且可以加強(qiáng)信息檢索系統(tǒng)對(duì)自然語(yǔ)言文本的理解能力。然后再提取這些形式概念的與查詢的關(guān)鍵詞相關(guān)的對(duì)象與屬性進(jìn)行匹配操作。網(wǎng)頁(yè)的概念格用雙向聯(lián)想記憶存儲(chǔ)器進(jìn)行編碼，這樣不僅可以避免復(fù)雜的建格算法，還可以根據(jù)后續(xù)進(jìn)程中對(duì)文檔的理解靈活的更新網(wǎng)頁(yè)的表示形式。本文提

5、出的模型還使用了學(xué)習(xí)策略，通過(guò)接收用戶反饋，對(duì)關(guān)鍵詞權(quán)重進(jìn)行修改，使相關(guān)文檔間的相似性得以加強(qiáng)，不相關(guān)的文檔則減弱。本文最后對(duì)提出的新匹配的策略進(jìn)行了測(cè)試實(shí)驗(yàn)，并與布爾匹配模型進(jìn)行比較，對(duì)新的匹配方法進(jìn)行驗(yàn)證。實(shí)驗(yàn)的數(shù)據(jù)集包括60個(gè)中文網(wǎng)頁(yè)和一組查詢?cè)~。從每個(gè)網(wǎng)頁(yè)中提取出一組概念作為訓(xùn)練集，來(lái)訓(xùn)練雙向聯(lián)想記憶存儲(chǔ)器存儲(chǔ)網(wǎng)頁(yè)的概念格，以進(jìn)行匹配操作。并且對(duì)學(xué)習(xí)前后的精確率和召回率進(jìn)行了分析。實(shí)驗(yàn)表明，比起布爾模型，新匹配的策略在精確率和召