基于免疫學原理的詞表示及其應用研究.pdf

1、自然語言處理研究主要應用機器學習方法，需要對詞進行數學表示。詞表示就是采用數學形式用詞的屬性對詞進行的表示，在現有研究中，詞一般表示成向量，向量的每一維對應詞的屬性。詞表示的學習可以事先獨立于具體任務和模型，一旦詞表示學習完畢，學習到的詞表示可以共享給其他研究人員并整合到現有的自然語言處理研究中。詞表示對自然語言處理研究至關重要，已廣泛應用于詞相似度計算、關系相似度計算、詞性標注、句法分析、命名實體識別、情感分析等自然語言處理任務。

2、r>　　詞表示方法的理論根源是分布式語義假設，即出現在相同上下文的詞傾向于表達相似的意義。所以現有詞表示研究大多基于大規(guī)模語料，應用統(tǒng)計機器學習方法從詞的上下文中學習詞的向量表示。由于大多數統(tǒng)計機器學習方法缺乏持續(xù)學習能力，詞表示只能是在給定規(guī)模的語料上一次性學習完成。所以現有詞表示方法最大的問題就是缺乏持續(xù)學習能力，適應性較差，制約了詞表示的進一步應用。本文借鑒人體適應性免疫學原理，構建多詞主體自治學習模型從語料中學習詞表示，試圖解決

3、這一問題。首先，本文系統(tǒng)地分析了語言和免疫系統(tǒng)的一致性，奠定本文研究的理論基礎；然后，基于一致性，把詞模擬成免疫細胞，引入克隆選擇原理和免疫網絡理論構建多詞主體自治學習模型學習詞表示；其次，在詞相似度計算和關系相似度計算這兩個任務上對本文提出的詞表示方法進行了評價，這兩個任務同時也是詞表示的直接應用；最后把詞表示應用到中文電子病歷命名實體識別這一代表性的信息抽取任務中。主要研究內容包括以下五個方面：
　　1.系統(tǒng)地比較了語言和免疫

4、系統(tǒng)的一致性，深入分析了語言和免疫系統(tǒng)的一致性對詞表示研究的重要啟發(fā)。語言和免疫系統(tǒng)的一致性是本課題的理論基礎，一致性對比分析從三個方面展開，首先是學習特點的一致性，都具有持續(xù)學習特性；其次是作為語言的最小單位詞和免疫系統(tǒng)的重要細胞B細胞存在深刻的一致性；最后是由詞組成的語言網絡和由B細胞組成的額免疫網絡都具有復雜網絡特性。這三方面的一致性對模型的設計提供了重要啟發(fā)，指導詞表示學習模型的構建。
　　2.提出基于免疫學原理的詞表示方

5、法和多詞主體自治學習模型學習詞的表示。在面向自治計算框架下采用主體建模方法，引入適應性免疫學原理（克隆選擇原理和免疫網絡理論），構建多詞主體自治學習模型，該模型是一種在線學習模型。模型將詞模擬成B細胞，將詞的屬性表示支配屬性向量和依賴屬性向量，并模擬成 B細胞受體，詞之間的依存關系模擬成 B細胞之間的識別關系，識別方式是一個詞的支配屬性向量和另一個詞的依賴屬性向量進行匹配。在免疫學原理的作用下，模型調節(jié)詞之間的結合強度，進而學習詞的表示

6、。
　　3.基于本文的詞表示方法提出一種詞相似度計算方法，并通過實驗驗證詞表示方法和詞相似度計算方法的有效性。本文的詞表示方法把詞表示成兩個向量，一個代表詞的支配屬性向量，另一個代表依賴屬性向量；本文擴展分布式語義假設為“具有相似的支配上下文和相似的依賴上下文的兩個詞是相似的”，因此詞相似度值需要考慮兩個詞在支配屬性向量上的相似度和依賴屬性上的相似度。該方法在評價數據上取得了有效的評價結果。
　　4.基于本文的詞表示方法提出

7、一種詞關系表示方法和詞關系相似度計算方法，并通過實驗驗證詞表示方法和詞關系相似度計算方法的有效性。本文把詞的結合關系泛化成語義關系，因而把一個詞的支配屬性向量和另一個詞的依賴屬性向量匹配后得到的向量作為關系的表示。詞之間的關系存在方向性，因此本研究把詞的關系表示成兩個向量，一個代表詞之間的正向關系，一個代表詞之間的反向關系，分別對應于詞之間的兩種結合方式；基于這樣的關系表示，本文認為只有在正向關系上和反向關系上同時相似的兩個關系對才相似

8、，因此關系相似度值需要考慮兩個關系對在正向關系向量上的相似度和反向關系向量上的相似度。該方法在評價數據上取得了有效的評價結果。
　　5.基于本文的詞表示方法，引入詞表示到命名實體識別模型中，提升中文電子病歷命名實體識別的性能。本文首先抽取電子病歷中的詞，然后從新聞語料上學習到的詞表示集中取得詞的向量表示，對病歷中的詞進行聚類，然后把詞的聚類作為命名實體識別模型的特征，實現了領域間知識的遷移。對比實驗表明本文的詞表示能有效提升中文電