社區(qū)問(wèn)答系統(tǒng)中答案排序和問(wèn)題檢索算法研究與應(yīng)用.pdf

1、社區(qū)問(wèn)答(Community Question Answering，CQA)系統(tǒng)是一種較高級(jí)別的信息檢索系統(tǒng)。與搜索引擎不同，CQA系統(tǒng)中存在大量由社區(qū)成員長(zhǎng)期維護(hù)的問(wèn)題和答案，信息質(zhì)量較高;CQA系統(tǒng)返回的信息通常更符合用戶的真實(shí)需求，而搜引擎通常返回若干相關(guān)網(wǎng)頁(yè)。目前，利用CQA系統(tǒng)知識(shí)獲取已經(jīng)成為一個(gè)研究熱點(diǎn)，但如何高效的從CQA系統(tǒng)中檢索信息仍是一個(gè)研究難點(diǎn)。本文的研究?jī)?nèi)容主要圍繞CQA系統(tǒng)的答案排序和問(wèn)題檢索任務(wù)，工作分為以下

2、三個(gè)方面:
　　1)提出了改進(jìn)主題模型。傳統(tǒng)的LDA主題模型未考慮到垃圾主題和相似主題的存在，影響主題相似度計(jì)算的準(zhǔn)確率，第三章提出了垃圾主題過(guò)濾算法和主題相似度檢測(cè)算法用于移除垃圾主題和檢測(cè)相似主題，以構(gòu)造語(yǔ)義關(guān)系更強(qiáng)的主題向量。在中文語(yǔ)料庫(kù)上的實(shí)驗(yàn)結(jié)果驗(yàn)證了改進(jìn)主題模型能夠提升文本分類的準(zhǔn)確率，第三章還將改進(jìn)主題模型應(yīng)用到CQA系統(tǒng)中，在SemEval問(wèn)答數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果一方面確定了答案排序和問(wèn)題檢索任務(wù)的最優(yōu)特征組合，另一

3、方面驗(yàn)證了改進(jìn)主題模型同樣能夠提升答案分類的準(zhǔn)確率。
　　2)提出了一種針對(duì)CQA系統(tǒng)的信息增強(qiáng)方法。第四章利用原始問(wèn)題、相似問(wèn)題和答案三者的關(guān)系，構(gòu)造答案與原始問(wèn)題的標(biāo)注數(shù)據(jù)集，作為額外的訓(xùn)練集融入到原始數(shù)據(jù)集中，額外數(shù)據(jù)集是對(duì)原始數(shù)據(jù)集的信息增強(qiáng)，在CQA系統(tǒng)兩個(gè)子任務(wù)上的實(shí)驗(yàn)結(jié)果驗(yàn)證了信息增強(qiáng)方法的高效性。第四章還探索了五種神經(jīng)網(wǎng)絡(luò)對(duì)答案排序和問(wèn)題檢索任務(wù)的建模方法和應(yīng)用效果，發(fā)現(xiàn)BiLSTM網(wǎng)絡(luò)和Attention網(wǎng)絡(luò)整體

4、上具有較高的答案分類準(zhǔn)確率和MRR值，實(shí)驗(yàn)發(fā)現(xiàn)數(shù)據(jù)清洗對(duì)神經(jīng)網(wǎng)絡(luò)影響較大，在大多數(shù)場(chǎng)景中數(shù)據(jù)清洗都是必要的，但對(duì)某些場(chǎng)景（如小規(guī)模數(shù)據(jù)集，BiLSTM網(wǎng)絡(luò)等）數(shù)據(jù)清洗會(huì)降低網(wǎng)絡(luò)的性能。
　　3)設(shè)計(jì)了CQA系統(tǒng)的實(shí)現(xiàn)流程圖。首先分析了系統(tǒng)存在的問(wèn)題，然后介紹了設(shè)計(jì)中涉及的關(guān)鍵技術(shù)，最后分模塊闡述CQA系統(tǒng)中各個(gè)問(wèn)題的解決方案。各問(wèn)題與解決方案可以概括為:針對(duì)海量知識(shí)庫(kù)的信息抽取計(jì)算復(fù)雜度較高的問(wèn)題，提出了一種兩階段文本排序方法;針