網(wǎng)絡(luò)雙語語料挖掘關(guān)鍵技術(shù)研究.pdf

1、隨著統(tǒng)計方法的迅速發(fā)展，大規(guī)模雙語語料庫己成為跨語言信息處理不可或缺的基礎(chǔ)資源。雙語語料己被大量應(yīng)用于挖掘雙語術(shù)語、命名實體和雙語詞典等更細粒度的互譯等價對，為統(tǒng)計機器翻譯和跨語言信息檢索等領(lǐng)域提供支持。然而，現(xiàn)有的雙語語料資源十分匱乏，而低密度語言的雙語語料尤為稀缺。近年來，網(wǎng)絡(luò)原始雙語資源迅速增長，且具有內(nèi)容新穎和來源廣闊的優(yōu)勢，圍繞網(wǎng)絡(luò)雙語語料挖掘方法的研究已成為人們關(guān)注的焦點。
　　本文以網(wǎng)絡(luò)雙語語料挖掘技術(shù)為研究對象，進

2、行了平行語料和可比語料挖掘系統(tǒng)的設(shè)計，并展開了四項技術(shù)的研究:平行網(wǎng)頁識別、網(wǎng)頁正文抽取、字詞提取以及跨語言文本相似度計算。分述如下:
　　1)基于新特征信息的平行網(wǎng)頁識別為解決挖掘網(wǎng)絡(luò)平行語料面臨網(wǎng)頁結(jié)構(gòu)非對稱的問題，本文提出將改進的編輯距離計算網(wǎng)頁HTML標簽序列的相似性以及最大匹配計算數(shù)字序列的相似性等作為特征信息，利用支持向量機進行平行網(wǎng)頁識別。該方法降低了對網(wǎng)頁結(jié)構(gòu)信息的依賴程度，提高了對現(xiàn)有的低密度語言網(wǎng)絡(luò)資源的適應(yīng)性

3、。
　　2)基于文本密度模型的網(wǎng)頁正文抽取為解決結(jié)構(gòu)布局各異的網(wǎng)頁抽取正文時發(fā)生邊界誤判的問題，本文提出一種基于文本密度模型的新聞網(wǎng)頁正文抽取方法，主要通過融合網(wǎng)頁結(jié)構(gòu)和語言特征的統(tǒng)計模型，將網(wǎng)頁文檔按文本行轉(zhuǎn)化成正、負文本密度序列，再根據(jù)鄰近行內(nèi)容的連續(xù)性，利用高斯平滑技術(shù)修正文本密度序列，最后采用改進的最大子序列分割密度序列抽取正文內(nèi)容。該方法既保持了正文的完整性又排除了噪聲的干擾，且無需人工干預(yù)或反復(fù)訓(xùn)練。
　　3)基

4、于LDA模型的文檔字詞提取為解決現(xiàn)有的字詞抽取方法未能綜合體現(xiàn)文本主題的顯著性、可讀性以及全面性的問題，本文提出一種基于文檔隱含主題的字詞抽取新算法TFITF，主要利用大規(guī)模語料產(chǎn)生隱含主題模型以計算詞匯對主題的TFITF權(quán)重，并進一步產(chǎn)生詞匯對文檔的權(quán)重，再采用共現(xiàn)信息合并相鄰詞匯以形成候選短語，最后使用相似性排除隱含主題相近的冗余短語。該方法有效地提高了文檔字詞抽取的準確率與召回率。
　　4)基于Bi-LDA模型的跨語言文檔相

5、似度為解決使用互譯詞匯等特征匹配跨語言文檔時無法衡量文檔對主題相關(guān)性的問題，本文提出基于Bi-LDA模型分析不同語言文檔的跨語言主題模型，并給出文檔-主題的KL散度、主題頻率-逆文檔頻率的余弦值和文檔的條件概率三種方法，分別計算不同語言文檔的相似度，為篩選相似文本對自動構(gòu)建可比語料庫提供基礎(chǔ)。該方法增強了對文檔語義信息的理解，克服了利用互譯詞匯匹配文檔的表面性，可有效地匹配主題一致的不同語言文檔。
　　本文在平行語料挖掘中主要的技