基于云模型的中文面向查詢多文檔自動(dòng)文摘研究.pdf

1、隨著互聯(lián)網(wǎng)的普及,互聯(lián)網(wǎng)上包含著海量的并且時(shí)刻在增加的信息。針對(duì)用戶輸入的一個(gè)簡(jiǎn)單查詢,搜索引擎一般會(huì)返回用戶可能需要的一系列經(jīng)過(guò)排序的網(wǎng)頁(yè),其中有大量不相關(guān)的、重復(fù)的數(shù)據(jù),需要用戶耗費(fèi)很多精力來(lái)自己查找有用的結(jié)果。面向查詢的多文檔自動(dòng)文摘技術(shù)將大量的查詢相關(guān)文檔中的內(nèi)容提煉、重組為一定長(zhǎng)度的簡(jiǎn)短摘要,加速用戶的信息獲取,通常要求摘要的內(nèi)容簡(jiǎn)潔、組織良好、冗余低、滿足個(gè)性化需求。面向查詢的多文檔自動(dòng)文摘技術(shù)能夠減小從海量數(shù)據(jù)中獲取信息的

2、難度,提高信息獲取及理解的速度,進(jìn)而提高用戶獲取以及利用信息的效率,提高使用者在信息社會(huì)中的競(jìng)爭(zhēng)實(shí)力。
　　 云模型是李德毅院士提出的一種處理不確定性概念中模糊性、隨機(jī)性及其關(guān)聯(lián)性的定性定量轉(zhuǎn)換模型。云模型從研究自然語(yǔ)言概念的不確定性入手,展開對(duì)不確定性人工智能的研究。雖然云模型發(fā)端于自然語(yǔ)言中的概念,但遺憾的是,就目前搜集到的論文情況看來(lái),將云模型直接應(yīng)用在自然語(yǔ)言處理領(lǐng)域本身的工作還比較少見(jiàn)。
　　 本論文針對(duì)中文語(yǔ)

3、料中的面向查詢多文檔自動(dòng)文摘展開了研究.首先構(gòu)建可以用于公開評(píng)測(cè)的評(píng)測(cè)語(yǔ)料、人工摘要;在此基礎(chǔ)上利用云模型進(jìn)行文摘內(nèi)容選取、句子修剪、句子排序,力圖生成滿足用戶需求的聚焦度高、內(nèi)容精練、可讀性好的連貫摘要;最后采用修改后的ROUGE工具進(jìn)行中文文摘自動(dòng)評(píng)測(cè)。
　　 本文主要研究工作和研究成果概括如下:
　　 一、提出了一種基于云模型的文摘單元選取方法,利用云模型,全面考慮文摘單元的隨機(jī)性和模糊性,提高面向查詢的多文檔自動(dòng)

4、文摘系統(tǒng)的性能。首先計(jì)算文摘單元和查詢條件的相關(guān)性,將文摘單元和各個(gè)查詢?cè)~的相關(guān)度看成云滴,通過(guò)對(duì)云的不確定性的計(jì)算,找出與查詢條件真正意義相關(guān)的文摘單元。隨后利用文檔集合重要度對(duì)查詢相關(guān)的結(jié)果進(jìn)行修正,將文摘句和其他各文摘句的相似度看成云滴,利用云的數(shù)字特征計(jì)算句子重要度,找出能夠概括盡可能多的文檔集合內(nèi)容的句子,避免片面地只從某一個(gè)方面回答查詢問(wèn)題。為了證明文摘單元選取方法的有效性,在英文大規(guī)模公開語(yǔ)料上進(jìn)行了實(shí)驗(yàn),并參加了國(guó)際自動(dòng)

5、文摘公開評(píng)測(cè),取得了較好的成績(jī)。
　　 二、構(gòu)建了中文自動(dòng)文摘評(píng)測(cè)語(yǔ)料庫(kù)及中文自動(dòng)評(píng)測(cè)工具,并以此為基礎(chǔ),構(gòu)建了一種基于云模型的中文面向查詢多文檔自動(dòng)文摘系統(tǒng)。中文自動(dòng)文摘評(píng)測(cè)語(yǔ)料庫(kù)由1000篇文檔、100個(gè)文檔集合和查詢條件、400篇人工摘要構(gòu)成.通過(guò)修改英文文摘評(píng)測(cè)工具ROUGE的源程序,實(shí)現(xiàn)了中文自動(dòng)文摘的ROUGE自動(dòng)評(píng)測(cè)。首先將50個(gè)文檔集合作為訓(xùn)練語(yǔ)料,采用哈工大最新共享的語(yǔ)言技術(shù)平臺(tái)進(jìn)行句子切分、分詞;隨后利用中文

6、自動(dòng)評(píng)測(cè)工具,在測(cè)試語(yǔ)料中進(jìn)行參數(shù)訓(xùn)練;最后采用基于云模型的文摘單元選取方法生成中文摘要,就此搭建了中文云摘要系統(tǒng).
　　 三、提出了一種基于多維云和依存分析的中文句子修剪方法,進(jìn)一步提高文摘質(zhì)量。首先制定基于依存分析的句子修剪規(guī)則,對(duì)每個(gè)候選文摘句進(jìn)行句子修剪,從而產(chǎn)生多候選句;隨后利用多維云,綜合考慮詞語(yǔ)在句子、文檔集合中的分布以及和查詢條件的相關(guān)性,對(duì)各修剪句進(jìn)行打分,在云的疊加過(guò)程中實(shí)現(xiàn)了不確定性的有效傳遞;最后選取那些

7、包含信息量最大、長(zhǎng)度最短的修剪句替換候選文摘句,構(gòu)成自動(dòng)摘要,從而使文摘包含更多的有效信息。
　　 四、提出了一種基于云模板的文摘句排序方法,使生成的中文云摘要更加連貫。云模板的方法將文檔集合中的每一篇文檔都看成模板,利用云模型將各篇文檔的排序結(jié)果綜合到一起,既避免了單一模板方法對(duì)于單個(gè)文檔的依賴,也避免了多數(shù)次序方法只能兩兩排序的缺點(diǎn)。首先利用基于復(fù)雜網(wǎng)絡(luò)的自適應(yīng)增量聚類方法對(duì)文檔集合進(jìn)行聚類,找出那些包含有一個(gè)或多個(gè)文摘句的