基于免疫學(xué)原理的詞表示及其應(yīng)用研究.pdf

1、自然語言處理研究主要應(yīng)用機(jī)器學(xué)習(xí)方法，需要對詞進(jìn)行數(shù)學(xué)表示。詞表示就是采用數(shù)學(xué)形式用詞的屬性對詞進(jìn)行的表示，在現(xiàn)有研究中，詞一般表示成向量，向量的每一維對應(yīng)詞的屬性。詞表示的學(xué)習(xí)可以事先獨(dú)立于具體任務(wù)和模型，一旦詞表示學(xué)習(xí)完畢，學(xué)習(xí)到的詞表示可以共享給其他研究人員并整合到現(xiàn)有的自然語言處理研究中。詞表示對自然語言處理研究至關(guān)重要，已廣泛應(yīng)用于詞相似度計(jì)算、關(guān)系相似度計(jì)算、詞性標(biāo)注、句法分析、命名實(shí)體識別、情感分析等自然語言處理任務(wù)。

2、r>　　詞表示方法的理論根源是分布式語義假設(shè)，即出現(xiàn)在相同上下文的詞傾向于表達(dá)相似的意義。所以現(xiàn)有詞表示研究大多基于大規(guī)模語料，應(yīng)用統(tǒng)計(jì)機(jī)器學(xué)習(xí)方法從詞的上下文中學(xué)習(xí)詞的向量表示。由于大多數(shù)統(tǒng)計(jì)機(jī)器學(xué)習(xí)方法缺乏持續(xù)學(xué)習(xí)能力，詞表示只能是在給定規(guī)模的語料上一次性學(xué)習(xí)完成。所以現(xiàn)有詞表示方法最大的問題就是缺乏持續(xù)學(xué)習(xí)能力，適應(yīng)性較差，制約了詞表示的進(jìn)一步應(yīng)用。本文借鑒人體適應(yīng)性免疫學(xué)原理，構(gòu)建多詞主體自治學(xué)習(xí)模型從語料中學(xué)習(xí)詞表示，試圖解決

3、這一問題。首先，本文系統(tǒng)地分析了語言和免疫系統(tǒng)的一致性，奠定本文研究的理論基礎(chǔ)；然后，基于一致性，把詞模擬成免疫細(xì)胞，引入克隆選擇原理和免疫網(wǎng)絡(luò)理論構(gòu)建多詞主體自治學(xué)習(xí)模型學(xué)習(xí)詞表示；其次，在詞相似度計(jì)算和關(guān)系相似度計(jì)算這兩個任務(wù)上對本文提出的詞表示方法進(jìn)行了評價(jià)，這兩個任務(wù)同時也是詞表示的直接應(yīng)用；最后把詞表示應(yīng)用到中文電子病歷命名實(shí)體識別這一代表性的信息抽取任務(wù)中。主要研究內(nèi)容包括以下五個方面：
　　1.系統(tǒng)地比較了語言和免疫

4、系統(tǒng)的一致性，深入分析了語言和免疫系統(tǒng)的一致性對詞表示研究的重要啟發(fā)。語言和免疫系統(tǒng)的一致性是本課題的理論基礎(chǔ)，一致性對比分析從三個方面展開，首先是學(xué)習(xí)特點(diǎn)的一致性，都具有持續(xù)學(xué)習(xí)特性；其次是作為語言的最小單位詞和免疫系統(tǒng)的重要細(xì)胞B細(xì)胞存在深刻的一致性；最后是由詞組成的語言網(wǎng)絡(luò)和由B細(xì)胞組成的額免疫網(wǎng)絡(luò)都具有復(fù)雜網(wǎng)絡(luò)特性。這三方面的一致性對模型的設(shè)計(jì)提供了重要啟發(fā)，指導(dǎo)詞表示學(xué)習(xí)模型的構(gòu)建。
　　2.提出基于免疫學(xué)原理的詞表示方

5、法和多詞主體自治學(xué)習(xí)模型學(xué)習(xí)詞的表示。在面向自治計(jì)算框架下采用主體建模方法，引入適應(yīng)性免疫學(xué)原理（克隆選擇原理和免疫網(wǎng)絡(luò)理論），構(gòu)建多詞主體自治學(xué)習(xí)模型，該模型是一種在線學(xué)習(xí)模型。模型將詞模擬成B細(xì)胞，將詞的屬性表示支配屬性向量和依賴屬性向量，并模擬成 B細(xì)胞受體，詞之間的依存關(guān)系模擬成 B細(xì)胞之間的識別關(guān)系，識別方式是一個詞的支配屬性向量和另一個詞的依賴屬性向量進(jìn)行匹配。在免疫學(xué)原理的作用下，模型調(diào)節(jié)詞之間的結(jié)合強(qiáng)度，進(jìn)而學(xué)習(xí)詞的表示

6、。
　　3.基于本文的詞表示方法提出一種詞相似度計(jì)算方法，并通過實(shí)驗(yàn)驗(yàn)證詞表示方法和詞相似度計(jì)算方法的有效性。本文的詞表示方法把詞表示成兩個向量，一個代表詞的支配屬性向量，另一個代表依賴屬性向量；本文擴(kuò)展分布式語義假設(shè)為“具有相似的支配上下文和相似的依賴上下文的兩個詞是相似的”，因此詞相似度值需要考慮兩個詞在支配屬性向量上的相似度和依賴屬性上的相似度。該方法在評價(jià)數(shù)據(jù)上取得了有效的評價(jià)結(jié)果。
　　4.基于本文的詞表示方法提出

7、一種詞關(guān)系表示方法和詞關(guān)系相似度計(jì)算方法，并通過實(shí)驗(yàn)驗(yàn)證詞表示方法和詞關(guān)系相似度計(jì)算方法的有效性。本文把詞的結(jié)合關(guān)系泛化成語義關(guān)系，因而把一個詞的支配屬性向量和另一個詞的依賴屬性向量匹配后得到的向量作為關(guān)系的表示。詞之間的關(guān)系存在方向性，因此本研究把詞的關(guān)系表示成兩個向量，一個代表詞之間的正向關(guān)系，一個代表詞之間的反向關(guān)系，分別對應(yīng)于詞之間的兩種結(jié)合方式；基于這樣的關(guān)系表示，本文認(rèn)為只有在正向關(guān)系上和反向關(guān)系上同時相似的兩個關(guān)系對才相似

8、，因此關(guān)系相似度值需要考慮兩個關(guān)系對在正向關(guān)系向量上的相似度和反向關(guān)系向量上的相似度。該方法在評價(jià)數(shù)據(jù)上取得了有效的評價(jià)結(jié)果。
　　5.基于本文的詞表示方法，引入詞表示到命名實(shí)體識別模型中，提升中文電子病歷命名實(shí)體識別的性能。本文首先抽取電子病歷中的詞，然后從新聞?wù)Z料上學(xué)習(xí)到的詞表示集中取得詞的向量表示，對病歷中的詞進(jìn)行聚類，然后把詞的聚類作為命名實(shí)體識別模型的特征，實(shí)現(xiàn)了領(lǐng)域間知識的遷移。對比實(shí)驗(yàn)表明本文的詞表示能有效提升中文電