大規(guī)模網(wǎng)頁(yè)中雙語(yǔ)命名實(shí)體挖掘的研究與實(shí)現(xiàn).pdf

1、大規(guī)模的雙語(yǔ)命名實(shí)體庫(kù)可以有效的改進(jìn)機(jī)器翻譯、跨語(yǔ)言檢索等系統(tǒng)的性能。因而前人提出了很多抓取雙語(yǔ)命名實(shí)體的方法。早期的方法主要是從平行語(yǔ)料中進(jìn)行抽取，這類方法存在規(guī)模不足、領(lǐng)域局限、不能很好的處理新詞等問(wèn)題。隨著互聯(lián)網(wǎng)的飛速發(fā)展，大量的網(wǎng)頁(yè)包含了雙語(yǔ)命名實(shí)體。并且由于互聯(lián)網(wǎng)自身的多樣性和實(shí)時(shí)性，以及互聯(lián)網(wǎng)上的雙語(yǔ)命名實(shí)體覆蓋面非常廣泛，而且包含了大量的新詞。因此，從互聯(lián)網(wǎng)上抽取雙語(yǔ)命名實(shí)體己成為當(dāng)今信息抽取領(lǐng)域里的一個(gè)研究熱點(diǎn)。

2、 本文提出了一個(gè)從大規(guī)模網(wǎng)頁(yè)中抽取雙語(yǔ)命名實(shí)體的方法。方法主要利用了大規(guī)模網(wǎng)頁(yè)中的冗余信息。首先從大規(guī)模網(wǎng)頁(yè)中抽取符合括弧模式的雙語(yǔ)對(duì)：再利用中文分詞與后綴樹(shù)結(jié)合的方法抽取候選互譯對(duì)；之后利用基于SVM的分類模型去判斷候選互譯對(duì)是否為正確的雙語(yǔ)命名實(shí)體；最后利用一套過(guò)濾算法對(duì)得到的雙語(yǔ)命名實(shí)體進(jìn)行有效的過(guò)濾；最終得到正確率較高的雙語(yǔ)命名實(shí)體集合。 本文設(shè)計(jì)和實(shí)現(xiàn)了基于上述方法的雙語(yǔ)命名實(shí)體抽取系統(tǒng)，系統(tǒng)的輸入是一個(gè)大規(guī)模的網(wǎng)頁(yè)集

3、，集合中所有的網(wǎng)頁(yè)均為中文網(wǎng)頁(yè)；輸出是中英文的雙語(yǔ)命名實(shí)體集合。系統(tǒng)分為4個(gè)模塊：(1)雙語(yǔ)對(duì)抽取模塊：(2)候選互譯對(duì)抽取模塊；(3)雙語(yǔ)命名實(shí)體對(duì)齊模塊；(4)噪音過(guò)濾模塊。雙語(yǔ)對(duì)抽取模塊從大規(guī)模網(wǎng)頁(yè)中抽取符合括弧模式的雙語(yǔ)對(duì)，并對(duì)抽取到的雙語(yǔ)對(duì)進(jìn)行噪音過(guò)濾、修正、歸一化等操作：候選互譯對(duì)抽取模塊，首先對(duì)同一英文實(shí)體對(duì)應(yīng)的多個(gè)中文串進(jìn)行中文分詞，然后根據(jù)分詞結(jié)果利用后綴樹(shù)抽取候選翻譯串，與該英文實(shí)體組成候選互譯對(duì)；雙語(yǔ)命名實(shí)體對(duì)齊模

4、塊，將對(duì)齊問(wèn)題轉(zhuǎn)化為分類問(wèn)題，采用支持向量機(jī)分類模型，并利用基于IBMMODEL1的翻譯質(zhì)量評(píng)測(cè)模型和基于感知器的音譯模型提供的特征，結(jié)合候選互譯對(duì)在網(wǎng)頁(yè)中的出現(xiàn)頻度、以及在后綴樹(shù)中的頻度等特征，來(lái)進(jìn)行二值分類，從而判斷出候選互譯對(duì)是否為雙語(yǔ)命名實(shí)體；過(guò)濾模塊，采用了翻譯頻度等信息進(jìn)行了有效的過(guò)濾，并抽取出前導(dǎo)詞翻譯前綴反饋給候選互譯對(duì)抽取模塊。 本文的主要貢獻(xiàn)有：(1)提出了一套能從大量網(wǎng)頁(yè)中抽取高質(zhì)量雙語(yǔ)命名實(shí)體的方法；(2