基于深度學習的屬性抽取技術研究.pdf

1、如何將大量的非結構化信息轉換為人們易于理解的結構化信息，提取語義信息，已成為近年來研究的熱點。實體的屬性抽取方法，是將非結構化數(shù)據(jù)轉換為結構化數(shù)據(jù)的一種重要手段，是自然語言處理任務的一個重要子任務。雖然，已經(jīng)有不少的方法提出用來完成屬性抽取任務，但是這些方法中仍然存在一些問題需要解決。本文針對這些方法中存在的問題進行深入研究，提出了一種基于長短期記憶網(wǎng)絡的多實例多標簽的算法，主要按照以下順序展開工作:
　　首先展示了屬性抽取較為流

2、行的幾種方法，主要有基于規(guī)則的方法、有監(jiān)督的和無監(jiān)督的機器學習方法。這些方法存在對人工和其他自然語言處理工具依賴性過大，無法應用到目標關系，性能還有待提升等問題。
　　針對上述問題，本文提出的方法使用遠程監(jiān)督的方式生成模型訓練和測試所需要的樣本，減少對人工的依賴。使用多實例多標簽模型解決遠程監(jiān)督生成樣本中的多實例多標簽現(xiàn)象。多實例多標簽模型利用帶有隱變量的圖模型建模一個實體對有多個實例，以及不同實例可能對應不同標簽因而存在多個標簽

3、的問題。
　　同時，使用深度學習的方法自動學習大量樣本數(shù)據(jù)的內(nèi)部規(guī)律。利用詞向量作為模型需要的特征，能夠表達詞與詞之間的相似性，減少對其它自然語言處理工具的依賴，防止錯誤的傳播和累加。使用長短期記憶網(wǎng)絡訓練模型，充分利用了句子的時序信息，通過句子前后的上下文關系，學習了句子中存在的語法關系和語義關系。長短期記憶網(wǎng)絡能夠選擇性的丟棄一些無用信息，而保留重要的有用信息，對于學習較長句子中的內(nèi)在關系非常有效。此外，本文還利用了實體的類型