基于跨模態(tài)玻爾茲曼機的摘要生成.pdf

1、密級：渺歹Z擎碩士學(xué)位論文⑧浙江大學(xué)碩士學(xué)位論文摘要隨著互聯(lián)網(wǎng)的發(fā)展，信息以爆炸性的速度增長，規(guī)模日益龐大，海量數(shù)據(jù)使得自動摘要技術(shù)應(yīng)運而生。高效提取熱門話題的摘要，能夠幫助用戶更好地了解當(dāng)前話題的大致內(nèi)容概略以及其熱門事件發(fā)展相關(guān)描述，對于用戶從海量數(shù)據(jù)中快速獲取有用信息具有重要意義。當(dāng)前網(wǎng)絡(luò)數(shù)據(jù)大多由不同類型媒體數(shù)據(jù)耦合在一起組成，如新聞網(wǎng)頁中不僅存在文字描述信息，也存在內(nèi)嵌圖像?？缑襟w數(shù)據(jù)大量存在于互聯(lián)網(wǎng)、社交媒體信息之中，因而摘

2、要也不應(yīng)該僅僅局限于文本信息，還應(yīng)該充分發(fā)掘和利用圖像等多媒體信息。因此，對于這些由不同類型媒體所組成網(wǎng)絡(luò)數(shù)據(jù)進行摘要生成時，如何克服異構(gòu)鴻溝，挖掘其語義關(guān)聯(lián)，成為一個挑戰(zhàn)性問題。然而，不同模態(tài)的數(shù)據(jù)存在著語義鴻溝，即不同類型數(shù)據(jù)表達信息的特征是異構(gòu)的，只存在深層次語義層面的關(guān)聯(lián)，在特征層面的關(guān)聯(lián)是不明顯的。近來研究表明，深度學(xué)習(xí)通過無監(jiān)督逐層預(yù)訓(xùn)練和有監(jiān)督微調(diào)(finetuning)相結(jié)合可得到跨模態(tài)數(shù)據(jù)彼此之間存在的蘊含關(guān)聯(lián)，在解決

3、跨模態(tài)數(shù)據(jù)共享空間學(xué)習(xí)難題上有著很好的表現(xiàn)，從而為跨媒體語義表達注入了新的活力。深度學(xué)習(xí)的主要思路是通過一個神經(jīng)網(wǎng)絡(luò)的層次結(jié)構(gòu)來學(xué)習(xí)多個層次的表達，其中更高層次的表達有望更好地定義更高層次的語義概念。為了充分利用多媒體信息，本文將深度學(xué)習(xí)的跨模態(tài)玻爾茲曼機模型引入摘要生成，提出一種基于跨模態(tài)玻爾茲曼機的摘要生成算法。實驗表明，算法提取的文本摘要較其他文本摘要算法ROUGE評分有所提高，以圖像摘要結(jié)果訓(xùn)練的分類器對其他圖像評估得到的MAP