基于分布式語義表示的兩岸詞匯差異研究和古籍文本處理.pdf

1、語義問題一直是自然語言處理領域的一個難點。近年來，隨著深度學習技術的逐漸興起，越來越多的研究采用深度神經網絡對語義相關的問題進行建模。在語義層面上開展研究，能更為有效地解決一些傳統(tǒng)統(tǒng)計方法所難以解決的問題，也更為接近人類的語言認知習慣。本文正是在這樣的背景下，采用分布式語義表示方法，重點研究中文信息處理中三個與語義相關的具體問題:兩岸詞匯差異對比、古籍異體字規(guī)范化和古籍自動斷句。
　　(1)兩岸間存在大量的差異詞匯，傳統(tǒng)研究多采用

2、手工方法進行整理，本文采用詞向量方法在兩岸可比語料上自動發(fā)現(xiàn)差異詞匯。本文首先對語料進行了預處理并抽取多詞表示，通過詞頻分析找出大陸特有詞匯和臺灣特有詞匯，然后采用詞向量方法自動抽取兩岸同形異義詞匯，最后采用詞向量方法為兩岸特有詞匯和同形異義詞匯自動發(fā)現(xiàn)適當的對應詞匯。實驗結果表明，本文提出的方法能有效發(fā)現(xiàn)傳統(tǒng)手工編纂難以發(fā)現(xiàn)的兩岸差異詞匯。
　　(2)古籍中大量存在的異體字不利于現(xiàn)代人閱讀，也不利于古籍信息處理。本文提出了一種基

3、于神經網絡語言模型的古籍異體字規(guī)范化方法。本文首先進行了古籍語料的預處理，為語料中的PUA編碼漢字找到對應的Unicode編碼并進行替換，然后實現(xiàn)了一個基于雙層GRU的漢字級別的循環(huán)神經網絡語言模型，最后采用對數線性框架將語言模型和其它統(tǒng)計特征集成到異體字規(guī)范化模型中。實驗結果表明，該方法能有效利用上下文的語義信息更準確地進行異體字規(guī)范化。
　　(3)古籍大多未進行斷句，利用自然語言處理技術進行自動斷句，不僅能降低現(xiàn)代人閱讀古文的