基于機(jī)器學(xué)習(xí)的雙語詞匯抽取問題研究.pdf

1、傳統(tǒng)的雙語詞匯詞典，一般由人工整理、編輯，具有權(quán)威度高、詞條質(zhì)量高的特點(diǎn)，但是其編制需要花費(fèi)大量的人力、物力和時(shí)間。與此同時(shí)，隨著互聯(lián)網(wǎng)的發(fā)展和社會的發(fā)展，各種各樣新的知識和話題涌現(xiàn)出來，每天都大量增加的新的詞條，難以在短時(shí)間內(nèi)通過人工添加到詞典中去，造成了詞典里的詞條缺失、時(shí)效性不夠等缺點(diǎn)。而隨著互聯(lián)網(wǎng)的發(fā)展，互聯(lián)網(wǎng)所承載的信息量越來越大，頁面信息越來越多，大量的雙語詞匯在網(wǎng)頁頁面中出現(xiàn)，從這些資源中，可以抽取大量有效的雙語詞匯。而且

2、這些雙語詞匯具有詞條新、專業(yè)術(shù)語翻譯豐富等特點(diǎn)。如果通過一定的自動化手段，自動去收集整理這些有用的雙語詞條互譯信息，積少成多，將會形成極為豐富的雙語詞匯資源。但是由于互聯(lián)網(wǎng)信息的雜亂、非結(jié)構(gòu)化和網(wǎng)頁質(zhì)量良莠不齊等問題，如何從非結(jié)構(gòu)化的網(wǎng)頁中去抽取雙語詞條是一個(gè)問題，而且因?yàn)槌槿〕鰜淼脑~條并不一定是高質(zhì)量的詞條，所以將抽取的詞條直接用來作為雙語詞條是不可行的。在抽取雙語詞條時(shí)，存在著(1)如何從網(wǎng)頁文本等非結(jié)構(gòu)化的數(shù)據(jù)中抽取雙語詞條。(2

3、)如何去評估抽取的雙語詞條是否正確的。(3)對于抽取出來低質(zhì)量的詞條，是否可以進(jìn)行加工后得到高質(zhì)量詞條等問題。
　　 針對這上面所列出的問題，本文提出了一種基于機(jī)器學(xué)習(xí)方法來抽取雙語詞匯，基于以前方法存在的問題，做出了如下的貢獻(xiàn)：(1)首先，對于如何從文本這樣非結(jié)構(gòu)化的數(shù)據(jù)中抽取雙語詞條這個(gè)問題，傳統(tǒng)的使用固定模式抽取詞條的方法受限于人的先驗(yàn)知識所歸納整理的規(guī)則，本文提出一種基于模式挖掘的方法，首先使用固定模式去抽取種子詞，再用

4、種子詞去抽取更多的模式，再用新的模式去抽取更多的雙語詞匯的方法，克服了固定模式帶來的局限性，提高了召回率。實(shí)驗(yàn)表明，該方法提高了抽取雙語詞條的召回率，而且具有不受初始種子選取影響，迭代可以到穩(wěn)定的收斂狀態(tài)。(2)其次，對于衡量和判斷抽取出來的雙語詞條是否正確的問題，分析了目前主要使用的各種基于單因素方法的局限性，提出了使用基于SVM模型來融合多種因素的方法，去判斷雙語詞條是否為互譯關(guān)系，實(shí)驗(yàn)表明，該方法提高了抽取雙語詞條的準(zhǔn)確率。(3)