句子語(yǔ)義相似度計(jì)算方法研究及其應(yīng)用.pdf

1、隨著信息科技的飛速進(jìn)步和互聯(lián)網(wǎng)技術(shù)的日益普及，Web新聞、網(wǎng)絡(luò)博文、微信公眾號(hào)文章等已經(jīng)成為人們獲取信息或關(guān)注時(shí)政的主要途徑之一，但為吸引讀者或網(wǎng)站流量，“標(biāo)題黨”新聞屢禁不絕，人為過(guò)濾該類新聞變得力不從心。因此，人們對(duì)計(jì)算機(jī)“標(biāo)題黨”新聞鑒別技術(shù)的需求變得非常急迫。“標(biāo)題黨”新聞鑒別技術(shù)的核心內(nèi)容是句子相似度計(jì)算，本文就此問(wèn)題展開(kāi)研究，主要研究?jī)?nèi)容為句子語(yǔ)義相似度計(jì)算方法及主題句提取算法。
　　本文研究的對(duì)象是漢語(yǔ)句子，漢語(yǔ)與其

2、他比如英語(yǔ)自然語(yǔ)言有著自身很多的特點(diǎn)及研究難點(diǎn)，主要有句子分詞準(zhǔn)確率不高，詞匯量大，語(yǔ)義復(fù)雜，語(yǔ)境對(duì)句子語(yǔ)義影響大，基本語(yǔ)法單位難以確定等。針對(duì)以上問(wèn)題，查閱文獻(xiàn)后選取了Word2Vec算法作為數(shù)據(jù)模型訓(xùn)練算法，該算法很好的解決了以上大部分的難點(diǎn)，它有良好的學(xué)習(xí)能力且訓(xùn)練高效，能夠很好的刻畫出漢語(yǔ)詞匯的語(yǔ)義且能關(guān)聯(lián)上下文區(qū)分不同真實(shí)含義。另外，在根據(jù)文章研究分析得出主題句有重復(fù)頻率高，分布廣度大等特性。在此基礎(chǔ)上利用句子語(yǔ)義相似度計(jì)算算

3、法及主題句特性優(yōu)化主題句提取算法，研究工作主要包括以下幾個(gè)方面：
　　（1）查閱句子相似度相關(guān)文獻(xiàn)基礎(chǔ)上，總結(jié)分析了句子相似度的基本概念，新聞數(shù)據(jù)采集和預(yù)處理方法；研究了現(xiàn)有的多種句子相似度計(jì)算方法及主題句提取算法，并分析了各種算法的優(yōu)劣勢(shì)。
　?。?）深入研究了Word2Vec模型訓(xùn)練算法，為提高模型效果，提出了在模型二次訓(xùn)練的思路并進(jìn)行實(shí)驗(yàn)，得到了較好的結(jié)果。對(duì)大量新聞進(jìn)行主題句特性進(jìn)行總結(jié)分析，根據(jù)特性優(yōu)化了主題句提取

4、算法。
　?。?）利用主題句提取算法模型進(jìn)行“標(biāo)題黨”新聞鑒別，用200篇文章作為新聞實(shí)例數(shù)據(jù)進(jìn)行實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果表明，本文對(duì)句子語(yǔ)義相似度計(jì)算方法及主題句提取算法的優(yōu)化都有較好的性能提升。
　?。?）將基于語(yǔ)義的句子相似度計(jì)算方法及主題句提取算法運(yùn)用到實(shí)際場(chǎng)景中，對(duì)算法進(jìn)行了系統(tǒng)應(yīng)用，通過(guò) WebSocket協(xié)議實(shí)現(xiàn)客戶端與服務(wù)端數(shù)據(jù)雙向通信，用戶可自行訓(xùn)練模型或采用默認(rèn)模型進(jìn)行“標(biāo)題黨”新聞鑒別，體現(xiàn)其實(shí)際應(yīng)用價(jià)值。