醫(yī)學(xué)文獻(xiàn)語句新穎性探測方法比較分析.pdf

1、目的：
　　醫(yī)學(xué)文獻(xiàn)語句新穎性探測的目的在于，有效的解決信息冗余，在醫(yī)學(xué)文獻(xiàn)中自動地發(fā)現(xiàn)攜帶新信息的語句。本文將三種新穎性探測方法，包括余弦值算法、詞重疊度算法，以及詞對逆語句頻率統(tǒng)計法，應(yīng)用到醫(yī)學(xué)文獻(xiàn)語句級新穎性探測中。對比分析三種方法計算語句新穎度的評測結(jié)果。
　　材料與方法：
　　選用pubmed數(shù)據(jù)庫，查找關(guān)于細(xì)胞自噬相關(guān)基因（Autophagy relatedgenes，Atg）的綜述文獻(xiàn)。篩選51篇，其中標(biāo)

2、題和摘要共計383個語句。使用MetaMap、MetaMap結(jié)果處理軟件、MySQL數(shù)據(jù)庫對自然語言進(jìn)行概念抽取，刪去停用詞，得到了由統(tǒng)一的、規(guī)范化的概念詞表達(dá)的語句集。運用R語言構(gòu)建語句-概念向量空間模型，在向量空間模型的基礎(chǔ)上，使用Ruby編寫余弦值算法、詞重疊度算法。在語句概念詞的基礎(chǔ)上，使用Ruby編寫詞對逆語句頻率統(tǒng)計算法。通過調(diào)查問卷方法獲得文獻(xiàn)語句新穎性參考答案，引入召回率、準(zhǔn)確率以及F值三個評價標(biāo)準(zhǔn)，對三種算法進(jìn)行評測，

3、統(tǒng)計分析三種方法的評測結(jié)果。
　　結(jié)果：
　　對于新穎度計算結(jié)果，詞重疊度算法的均值最小，為0.75，詞對逆語句頻率統(tǒng)計法的均值最大，為0.85。詞重疊度算法的標(biāo)準(zhǔn)差最大，為0.1802，余弦值算法的標(biāo)準(zhǔn)差最小，為0.1426。在新穎度的基礎(chǔ)上，給定一個閾值，如果探測語句的新穎度大于該閾值，則認(rèn)為有新的信息出現(xiàn)，如果計算的新穎度比閾值小，則認(rèn)為該語句表達(dá)信息重復(fù)。對三種方法在其設(shè)定的各閾值下得到的語句新穎性探測評測結(jié)果進(jìn)行統(tǒng)

4、計描述。結(jié)果表明，詞重疊度算法的召回率均值最高，為0.7444，詞對逆語句頻率統(tǒng)計法的召回率均值次之。詞對逆語句頻率統(tǒng)計法的準(zhǔn)確率均值最高，為0.8343，詞重疊度算法的準(zhǔn)確率均值次之。詞重疊度算法的F值均值最高，為0.7621，詞對逆語句頻率統(tǒng)計法的F值均值次之，為0.7611，差值為0.001。余弦值算法的召回率、準(zhǔn)確率以及F值得均值都是最低。另外，在其設(shè)定的各個的閾值下，只有詞對逆語句頻率統(tǒng)計法的評測數(shù)據(jù)中，有F值超過了0.8的情

5、況(對應(yīng)閾值為0.80、0.81、0.82)。
　　結(jié)論：
　　將三種新穎性探測方法，應(yīng)用到醫(yī)學(xué)文獻(xiàn)語句級新穎性探測中，對于新穎度計算結(jié)果，詞重疊度算法的均值最小，為0.75，標(biāo)準(zhǔn)差最大，為0.1802，說明詞重疊度算法能夠更好的將語句內(nèi)容間差異表現(xiàn)在數(shù)據(jù)上。
　　三種方法評測數(shù)據(jù)顯示，在其設(shè)定的各個閾值下，只有詞對逆語句頻率統(tǒng)計法的評測數(shù)據(jù)有F值超過了0.8的情況，說明詞對逆語句頻率統(tǒng)計法的語句級新穎性探測效果是三者

6、之中最優(yōu)的。
　　詞對逆語句頻率統(tǒng)計法對比其他兩種算法的優(yōu)勢在于，第一，詞對逆語句頻率統(tǒng)計法計算過程不需要構(gòu)建向量空間模型，計算簡便，耗時少。第二，該算法通過統(tǒng)計概念詞對出現(xiàn)的頻次，來計算語句新穎度，概念詞對對比單個概念詞能夠更好地體現(xiàn)語句所包含的信息。第三，該方法的運算公式能夠直接得出語句新穎度，運算思路是基于和待探測語句之前出現(xiàn)的所有語句包含的所有信息進(jìn)行對比，而非和待探測語句之前出現(xiàn)的每一條語句包含的信息，進(jìn)行逐一對比。這一