詞性在漢語科技文獻(xiàn)檢索中的作用與影響.pdf

1、詞性標(biāo)注是自然語言處理詞法分析中一種較為成熟的技術(shù)，而自然語言處理在信息檢索中又占有舉足輕重的作用，將詞性用于外文文獻(xiàn)信息檢索已有一定的研究，研究表明詞性用于外文文獻(xiàn)信息檢索有一定影響，但影響不大.本研究主要針對詞性用于漢語科技文獻(xiàn)檢索的作用和影響進(jìn)行研究，試圖用測評數(shù)據(jù)說明影響程度和作用大小。 整個(gè)研究過程中，實(shí)現(xiàn)了畜牧獸醫(yī)語料庫和詞表的建立工作.詞性標(biāo)注過程利用的是中國科學(xué)院計(jì)算技術(shù)研究所研制出的基于多層隱馬爾可夫模型的漢語

2、詞法分析系統(tǒng)ICTCLAS、南京農(nóng)業(yè)大學(xué)研究生程沖設(shè)計(jì)的CARMM系統(tǒng)中的未登錄詞功能以及自建的畜牧獸醫(yī)詞表相結(jié)合的方式實(shí)現(xiàn)，詞性標(biāo)記集選用的是漢語文本詞性標(biāo)注標(biāo)記集(北大版).采用了兩種提取檢索詞方式和多種檢索模型，其中，兩種提取檢索詞方式包括保留14維詞性提取的檢索詞方式和人工輔助參與提取檢索詞方式；多種檢索模型包括傳統(tǒng)的布爾邏輯檢索模型、“部分匹配的”布爾邏輯檢索模型和向量空間模型。在向量空間模型中，根據(jù)閾值取值有其自身的不足的特

3、點(diǎn)，本研究采用了兩種閾值2％和5％的方式，得到了多種測評數(shù)據(jù).根據(jù)測評數(shù)據(jù)，得出了帶詞性的檢索和不帶詞性的檢索的測評結(jié)果.測評結(jié)果采用四種方式測評，分別是概括表統(tǒng)計(jì)(包括每個(gè)檢索提問式的R、P和Rav、Pav四個(gè)指標(biāo)的測評結(jié)果表)，R、P折線圖，R、P差額直方圖和R、P差值平均值表.最終根據(jù)測評結(jié)果，得出了在檢全率方面，不帶詞性的檢索效率要高于帶詞性的檢索效率；在檢準(zhǔn)率方面，除了“部分匹配的”布爾邏輯檢索結(jié)果顯示的是不帶詞性的檢索檢準(zhǔn)率

4、要高之外，其他結(jié)果都表明帶詞性的檢索要略勝一籌?？傮w來看，帶詞性的檢索并沒有體現(xiàn)多大的優(yōu)越性.而且，從測評結(jié)果來看，在詞性用于檢索的同時(shí)選擇的檢索模型也是制約最終結(jié)果的一個(gè)因素。 本研究總的來看主要?jiǎng)?chuàng)新可以歸結(jié)為4個(gè)方面。笫一，詞性首次用于漢語文獻(xiàn)檢索.第二，對文獻(xiàn)語詞和提問檢索詞的詞性進(jìn)行了14維降維處理，提高了檢索效率；第三，設(shè)計(jì)了可用于詞性檢索的“部分匹配的布爾邏輯模型”；第四，用實(shí)驗(yàn)測評數(shù)據(jù)得出了詞性檢索對漢語文獻(xiàn)檢索的