基于聚類分析的潛在語義文獻(xiàn)檢索.pdf

1、傳統(tǒng)文獻(xiàn)檢索算法將用戶查詢關(guān)鍵詞集與系統(tǒng)數(shù)據(jù)庫存文獻(xiàn)關(guān)鍵詞集進(jìn)行匹配，然后根據(jù)匹配程度的大小檢測(cè)文獻(xiàn)。實(shí)踐證明，此方法存在一些不足。其一，詞語具有多義性，很難確定文獻(xiàn)中該關(guān)鍵詞表達(dá)的具體含義是否符合檢索內(nèi)容。其二，多詞一意，即文章的主題可以由不同關(guān)鍵詞構(gòu)成。因此，嚴(yán)格匹配可能會(huì)丟失大量相關(guān)文獻(xiàn)。鑒于以上問題，LSA即語義分析法（Latent Semantic Analysis）在相似文獻(xiàn)的檢索中能取得較好的效果。
　　 LSA認(rèn)

2、為文獻(xiàn)由關(guān)鍵詞集通過某種結(jié)構(gòu)聯(lián)系起來。大量關(guān)鍵詞的集合可以表示文獻(xiàn)主題。LSA基于數(shù)學(xué)理論和計(jì)算機(jī)技術(shù)的結(jié)合，通過大量文獻(xiàn)集的詞頻分析，建立關(guān)于關(guān)鍵詞和文獻(xiàn)的詞匯-文獻(xiàn)矩陣。然后通過奇異值分解，最終分解成詞匯矩陣，起連接作用的對(duì)角矩陣，以及文獻(xiàn)矩陣的乘積。因此，即使查詢?cè)~關(guān)鍵詞不在文獻(xiàn)關(guān)鍵詞集內(nèi)，只要其主要內(nèi)容和文獻(xiàn)一致，也可以通過與語義分解后的文獻(xiàn)向量進(jìn)行相似度運(yùn)算，進(jìn)而檢索出相關(guān)文獻(xiàn)。
　　 本文在研究LSA產(chǎn)生背景以及基本

3、原理及應(yīng)用的基礎(chǔ)上，著重討論了從查詢關(guān)鍵詞集出發(fā)，對(duì)相關(guān)文獻(xiàn)鏈建立的方法。文獻(xiàn)關(guān)系鏈的建立依賴于相同關(guān)鍵詞在不同文獻(xiàn)中出現(xiàn)的頻率。顯然兩篇不同文獻(xiàn)中相同的關(guān)鍵詞越多，這兩篇文獻(xiàn)就越具有相關(guān)性。通過尋找相關(guān)文獻(xiàn)，對(duì)文獻(xiàn)中的眾多關(guān)鍵詞取并集，進(jìn)而獲得更多的關(guān)鍵詞，即所謂擴(kuò)展關(guān)鍵詞。對(duì)在不同文獻(xiàn)中出現(xiàn)頻率大的擴(kuò)展關(guān)鍵詞取交集，獲得1級(jí)高質(zhì)量關(guān)鍵詞。然后通過一級(jí)高質(zhì)量關(guān)鍵詞不停地做循環(huán)搜索，進(jìn)而獲得2級(jí)，3級(jí)，…，n級(jí)索引擴(kuò)展關(guān)鍵詞集，以及更多

4、的相似文獻(xiàn)集。根據(jù)索引擴(kuò)展關(guān)鍵詞集以及文獻(xiàn)集建立詞匯-文獻(xiàn)矩陣，并將其進(jìn)行奇異值分解，分解成三個(gè)矩陣的乘積，其中中間的矩陣為對(duì)角陣，對(duì)角元素按照奇異值由大到小的順序排列，其值反映了對(duì)原矩陣作用的大小。按照奇異值變化率選定某鏈接關(guān)系度閾值，并依據(jù)閾值對(duì)分解后的三個(gè)矩陣進(jìn)行截取壓縮處理。然后對(duì)壓縮后的文獻(xiàn)矩陣中的列向量進(jìn)行k均值聚類，形成k類的文獻(xiàn)列向量簇，以及k個(gè)簇類中心點(diǎn)。根據(jù)用戶偏好，選取感興趣的索引擴(kuò)展關(guān)鍵詞作為查詢?cè)~集，并將其對(duì)k