大規(guī)模網(wǎng)頁中雙語命名實體挖掘的研究與實現(xiàn).pdf

1、大規(guī)模的雙語命名實體庫可以有效的改進機器翻譯、跨語言檢索等系統(tǒng)的性能。因而前人提出了很多抓取雙語命名實體的方法。早期的方法主要是從平行語料中進行抽取，這類方法存在規(guī)模不足、領域局限、不能很好的處理新詞等問題。隨著互聯(lián)網(wǎng)的飛速發(fā)展，大量的網(wǎng)頁包含了雙語命名實體。并且由于互聯(lián)網(wǎng)自身的多樣性和實時性，以及互聯(lián)網(wǎng)上的雙語命名實體覆蓋面非常廣泛，而且包含了大量的新詞。因此，從互聯(lián)網(wǎng)上抽取雙語命名實體己成為當今信息抽取領域里的一個研究熱點。

2、 本文提出了一個從大規(guī)模網(wǎng)頁中抽取雙語命名實體的方法。方法主要利用了大規(guī)模網(wǎng)頁中的冗余信息。首先從大規(guī)模網(wǎng)頁中抽取符合括弧模式的雙語對：再利用中文分詞與后綴樹結合的方法抽取候選互譯對；之后利用基于SVM的分類模型去判斷候選互譯對是否為正確的雙語命名實體；最后利用一套過濾算法對得到的雙語命名實體進行有效的過濾；最終得到正確率較高的雙語命名實體集合。 本文設計和實現(xiàn)了基于上述方法的雙語命名實體抽取系統(tǒng)，系統(tǒng)的輸入是一個大規(guī)模的網(wǎng)頁集

3、，集合中所有的網(wǎng)頁均為中文網(wǎng)頁；輸出是中英文的雙語命名實體集合。系統(tǒng)分為4個模塊：(1)雙語對抽取模塊：(2)候選互譯對抽取模塊；(3)雙語命名實體對齊模塊；(4)噪音過濾模塊。雙語對抽取模塊從大規(guī)模網(wǎng)頁中抽取符合括弧模式的雙語對，并對抽取到的雙語對進行噪音過濾、修正、歸一化等操作：候選互譯對抽取模塊，首先對同一英文實體對應的多個中文串進行中文分詞，然后根據(jù)分詞結果利用后綴樹抽取候選翻譯串，與該英文實體組成候選互譯對；雙語命名實體對齊模

4、塊，將對齊問題轉化為分類問題，采用支持向量機分類模型，并利用基于IBMMODEL1的翻譯質量評測模型和基于感知器的音譯模型提供的特征，結合候選互譯對在網(wǎng)頁中的出現(xiàn)頻度、以及在后綴樹中的頻度等特征，來進行二值分類，從而判斷出候選互譯對是否為雙語命名實體；過濾模塊，采用了翻譯頻度等信息進行了有效的過濾，并抽取出前導詞翻譯前綴反饋給候選互譯對抽取模塊。 本文的主要貢獻有：(1)提出了一套能從大量網(wǎng)頁中抽取高質量雙語命名實體的方法；(2