社區(qū)型問答中問句檢索關(guān)鍵技術(shù)研究.pdf

1、隨著Web2.0時代的到來，社區(qū)型問答漸漸成為人們在網(wǎng)絡(luò)上獲取知識和信息的必要途徑。相對于互聯(lián)網(wǎng)搜索引擎而言，社區(qū)型問答能夠直接返回用戶提出的自然語言形式問句的答案，而不是需要用戶自行篩選的檢索結(jié)果列表。相對于傳統(tǒng)的開放域問答系統(tǒng)而言，社區(qū)型問答中的答案都是由真實(shí)用戶生成的，其質(zhì)量要高于傳統(tǒng)的開放域問答系統(tǒng)自動地從候選文檔中抽取和生成的答案。同時，由于社區(qū)型問答中積累了大量的問答對資源，因此，社區(qū)型問答中的核心問題和關(guān)鍵技術(shù)體現(xiàn)在檢索相

2、似的已回答問句并返回相應(yīng)的答案，我們稱之為問句檢索。
　　然而，社區(qū)型問答中的問句檢索面臨的三個主要挑戰(zhàn)為：由于用戶問句表述的冗長性導(dǎo)致的用戶意圖理解困難；由于用戶問句表述多樣性造成的問句之間的詞項不匹配問題；由于未能考慮問句的社區(qū)屬性而導(dǎo)致問句檢索的排序僅僅依靠文本相關(guān)性。因此，在本文中，我們從以下四個方面來解決上述三個關(guān)鍵問題，從而在整體上提高社區(qū)型問答中問句檢索的性能。
　　本文的第二章提出了基于依存句法關(guān)系圖的詞項重

3、要度賦權(quán)方法，從而解決了社區(qū)型問答中用戶問句查詢的冗長性問題。具體地，對于已有的基于詞項賦權(quán)的問句檢索模型而言，一個主要的問題是在計算詞項權(quán)重時忽略了詞項之間的聯(lián)系。為了解決這個問題，我們提出了一種新的利用詞項之間依存句法關(guān)系作為線索的詞項賦權(quán)機(jī)制。對于給定問句，我們首先構(gòu)建依存句法圖來計算每個詞項對的關(guān)聯(lián)強(qiáng)度，進(jìn)而我們根據(jù)依存關(guān)聯(lián)度來更新常規(guī)的詞項權(quán)重。我們驗證了更新后的詞項權(quán)重能夠有效地整合到已有的問句檢索模型中，且實(shí)驗結(jié)果相比于已

4、有最新穎的問句檢索模型有了顯著的提升。
　　本文的第三章提出了基于短語復(fù)述的問句重構(gòu)模型，提高了問句查詢擴(kuò)展的整體效果。具體地，由于語言表述的多樣性所導(dǎo)致的問句檢索中的詞項不匹配現(xiàn)象，已經(jīng)成為社區(qū)型問答中亟待解決的問題。為了解決這個問題，我們提出了一種基于短語級復(fù)述方法的問句重構(gòu)機(jī)制，從而提高了問句檢索的效果。給定一個問句查詢，我們首先結(jié)合語料庫統(tǒng)計信息和問句內(nèi)部線索的特征來識別問句中的關(guān)鍵短語；接下來，我們通過融合多個在線翻譯引

5、擎的翻譯結(jié)果來進(jìn)行關(guān)鍵短語的復(fù)述抽?。蛔詈?，我們提出一種基于解碼算法的問句重構(gòu)方法，在融合關(guān)鍵短語的基礎(chǔ)上，生成重構(gòu)問句。通過在社區(qū)型問答數(shù)據(jù)集上的問句檢索實(shí)驗效果的提升，驗證了我們所提出的問句重構(gòu)算法的有效性，并且在問句檢索上顯著優(yōu)于當(dāng)前的最新穎的問句檢索模型。
　　本文的第四章提出了基于主題翻譯及聚類模型，實(shí)現(xiàn)問句查詢中詞項的擴(kuò)展。具體地，基于統(tǒng)計機(jī)器翻譯模型的問句檢索模型，其相關(guān)性排序機(jī)制主要依賴于詞項間的翻譯概率，然而已有

6、的機(jī)器翻譯模型沒有很好地控制詞項之間的翻譯噪聲，使得當(dāng)前的問句檢索模型存在不完善之處。我們提出一種基于主題翻譯及聚類模型的問句檢索模型，從理論上說明，該模型利用主題的推理及主題之間的相似性信息，達(dá)到控制翻譯模型噪聲的效果，從而提高問句檢索的結(jié)果。實(shí)驗結(jié)果表明，我們提出的模型在MAP、MRR以及p@1等指標(biāo)上顯著優(yōu)于當(dāng)前最新穎的問句檢索模型。
　　本文的第五章提出了問句流行度預(yù)測問題，并以此提高用戶問句檢索結(jié)果。具體地，隨著社區(qū)型問

7、答的發(fā)展，其上積累了大量高質(zhì)量的問答對資源。這些資源不僅能夠讓用戶進(jìn)行問句檢索的操作，更重要的是允許用戶之間進(jìn)行交互。在問答社區(qū)上面，大多數(shù)研究都是基于問句的文本內(nèi)容進(jìn)行問句檢索的相關(guān)研究，而很少有研究用戶個人信息及交互行為對問句檢索結(jié)果的影響。社區(qū)型問答中，問句的流行度能夠反映用戶的關(guān)注、興趣以及交互行為，因此，我們通過預(yù)測問句的流行度來改善用戶在問句檢索時的體驗。我們首先通過對影響問句流行度的因素進(jìn)行分析和建模，以此來預(yù)測新問句的流