非結構化數(shù)據(jù)信息提取的研究和實現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)這個新興的信息傳遞媒體的迅猛發(fā)展，互聯(lián)網(wǎng)信息急劇膨脹，如何從海量網(wǎng)絡電子文檔中及時準確地找到需要的信息己經(jīng)成為一個函待解決的問題，信息抽取正是在這樣的背景下產(chǎn)生并發(fā)展起來的，它是一沖用于處理各種類型文本文檔的非常有效的方法。
　　 信息抽取把文本里包含的信息進行結構化處理，輸入是原始文本，輸出的是固定格式的信息內容。信息內容從各種各樣的文檔中被抽取出來，然后以統(tǒng)一的形式集成在一起。這就是信息抽取的主要任務。信息抽取技術

2、并不試圖全面理解整篇文檔，只是對文檔中包含相關信息的部分進行分析。至于哪些信息是相關的，那將由系統(tǒng)設計時定下的應用領域范圍而定。
　　 本文主要對中文信息抽取中規(guī)則的數(shù)字號碼信息和中文人名進行了研究。規(guī)則的數(shù)字號碼信息作為獨立性強的信息可以基于正則表達式來識別，識別得到的結果可以通過上下文環(huán)境來判斷其準確性；人名提取相對復雜，本文針對中文姓名構成的一般規(guī)律和特點，提出一種基于姓氏用字驅動的統(tǒng)計與規(guī)則相結合的混合中文姓名識別算法，

3、以姓氏用字為線索，通過分析上下文中漢字形成普通單詞的可能性來進行人名識別。
　　 創(chuàng)新點在于把對提取結果的判準放在了與提取過程同等重要的位置，通過證據(jù)融合的方法對提取的結果做出判決，這很好地融合了信息所在的上下文環(huán)境，也使得最終的提取結果準確可信。在處理高沖突證據(jù)合成時，先做基于權重的預處理，突出重點證據(jù)，然后用Dempster法則進行組合。這樣即避免了D-S證據(jù)理論在處理沖突證據(jù)時的不足，也使信息提取的問題得到解決。實例表明，