基于維基百科的短文本相關(guān)度計(jì)算.pdf

1、隨著移動(dòng)通信技術(shù)與社交媒體的發(fā)展，中文短文本形式的信息已滲透在社會(huì)和生活的各個(gè)領(lǐng)域。巨大信息量的增長也催生出巨大的使用價(jià)值，如何挖掘出這些文本的深層價(jià)值成為了一個(gè)熱門話題。因此自然語言處理成為了研究者的研究熱點(diǎn)。語義相關(guān)度計(jì)算作為自然語言處理領(lǐng)域一項(xiàng)基本性的研究工作，被廣泛地應(yīng)用于查詢擴(kuò)展、詞義消歧、機(jī)器翻譯、知識(shí)抽取、自動(dòng)糾錯(cuò)等領(lǐng)域。而短文本作為一種新興的文本信息源，字?jǐn)?shù)較少，所表述的概念信號(hào)弱、特征信息模糊，因而難以抽取有效的特征信

2、息。
　　鑒于短文本所表達(dá)的信息有限，因此需要大量的背景知識(shí)來對樣本特征進(jìn)行擴(kuò)展。維基百科作為目前世界上最大的、多語種的、開放式的在線百科全書，得到很多研究者的青睞，因此本文選擇中文維基百科作為外部語料庫，維基百科的結(jié)構(gòu)信息以及語義信息也為短文本語義分析提供了基礎(chǔ)。
　　本文將短文本分為詞語和句子兩部分，首先提出了一種基于維基百科的詞語間相關(guān)度的計(jì)算方法。該方法主要結(jié)合維基百科中的結(jié)構(gòu)信息及語義信息，維基百科的主要結(jié)構(gòu)包括分

3、類體系結(jié)構(gòu)、摘要中的鏈接結(jié)構(gòu)、正文中鏈接結(jié)構(gòu)以及重定向消歧頁等，提出一種綜合類別相關(guān)度與鏈接相關(guān)度的計(jì)算詞語間相關(guān)度的方法。為了探究詞語語義深層信息，提出了利用關(guān)聯(lián)規(guī)則計(jì)算詞語相關(guān)度的計(jì)算方法。
　　在此基礎(chǔ)上，本文提出了句子間相關(guān)度的計(jì)算方法，主要從三大方面入手：句子結(jié)構(gòu)間的相關(guān)度計(jì)算、基于詞對的相關(guān)度計(jì)算以及利用聚類對主題詞加權(quán)的聚類相關(guān)度計(jì)算。其中，句子結(jié)構(gòu)又包括兩方面：詞形和詞序。在詞形相關(guān)度計(jì)算上，主要通過計(jì)算詞共現(xiàn)的頻

4、率來體現(xiàn)；在詞序計(jì)算上，通過逆序數(shù)的計(jì)算來體現(xiàn)?；谠~對的相關(guān)度計(jì)算主要考慮句子中詞語的深度語義信息，更符合人類主觀認(rèn)識(shí)。聚類主要是將語義相關(guān)的詞語或文本聚為一類或一簇，本文將其利用到句子間相關(guān)度的計(jì)算上，提高句子相關(guān)度計(jì)算的準(zhǔn)確率。
　　在理論方法成型的基礎(chǔ)上，完成實(shí)驗(yàn)方案的設(shè)計(jì)。首先，下載處理中文維基百科語料；其次完成詞語以及句子間相關(guān)度的計(jì)算；最后將計(jì)算結(jié)果與人工標(biāo)注集進(jìn)行對比，本實(shí)驗(yàn)選用了人工翻譯WordSimilarit