基于LSTM的語義關(guān)系分類研究.pdf

1、文本的深度語義分析近年來成為了自然語言研究領(lǐng)域的一個(gè)熱點(diǎn)。給定實(shí)體對的句子語義關(guān)系分類是其中一個(gè)重要的任務(wù)。語義關(guān)系分類技術(shù)的研究有助于其他文本處理技術(shù)的發(fā)展，例如信息檢索，信息抽取，文本摘要，機(jī)器翻譯，問答知識庫構(gòu)建，詞義消歧和語言模型等。
　　深度學(xué)習(xí)在自然語言處理領(lǐng)域的應(yīng)用研究是近年來的研究熱點(diǎn)。有學(xué)者將深度學(xué)習(xí)技術(shù)用于語義關(guān)系分類任務(wù)上，并在標(biāo)準(zhǔn)測試集上得到了比傳統(tǒng)統(tǒng)計(jì)學(xué)習(xí)方法更好的成績。
　　但是本文認(rèn)為，他們提出

2、的方案、使用的模型并沒有充分挖掘深度學(xué)習(xí)在該任務(wù)上的潛力。在當(dāng)前多個(gè)深度模型中，基于長短期記憶單元（Long Short-term memory，LSTM）的遞歸神經(jīng)網(wǎng)絡(luò)（recurrent neural network，RNN）模型因?yàn)槠淠苡行Ю眯蛄袛?shù)據(jù)中長距離依賴信息的能力，被認(rèn)為特別適合文本序列數(shù)據(jù)的處理。因此，本文提出一個(gè)基于LSTM的深度學(xué)習(xí)模型來解決語義關(guān)系分類問題，在標(biāo)準(zhǔn)評測集合上取得的成績達(dá)到了目前最好水平，展示出了L

3、STM在挖掘文本序列語義信息任務(wù)上的強(qiáng)大能力。
　　具體的，本文首先對原始文本進(jìn)行預(yù)處理和特征提取，在該階段本文提出了相對依賴特征方案，然后將預(yù)處理獲得的特征做向量化處理（embedding）并送入雙向 LSTM（Bi-LSTM，BLSTM）模型提取文本特征；其次，通過對 BLSTM的輸出做基于實(shí)體對位置的相對最大池化（relative max pooling）操作降維獲得句子類型特征，從embedding層輸出和BLSTM層輸出