非結(jié)構(gòu)化數(shù)據(jù)信息提取的研究和實現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)這個新興的信息傳遞媒體的迅猛發(fā)展，互聯(lián)網(wǎng)信息急劇膨脹，如何從海量網(wǎng)絡(luò)電子文檔中及時準(zhǔn)確地找到需要的信息己經(jīng)成為一個函待解決的問題，信息抽取正是在這樣的背景下產(chǎn)生并發(fā)展起來的，它是一沖用于處理各種類型文本文檔的非常有效的方法。
　　 信息抽取把文本里包含的信息進(jìn)行結(jié)構(gòu)化處理，輸入是原始文本，輸出的是固定格式的信息內(nèi)容。信息內(nèi)容從各種各樣的文檔中被抽取出來，然后以統(tǒng)一的形式集成在一起。這就是信息抽取的主要任務(wù)。信息抽取技術(shù)

2、并不試圖全面理解整篇文檔，只是對文檔中包含相關(guān)信息的部分進(jìn)行分析。至于哪些信息是相關(guān)的，那將由系統(tǒng)設(shè)計時定下的應(yīng)用領(lǐng)域范圍而定。
　　 本文主要對中文信息抽取中規(guī)則的數(shù)字號碼信息和中文人名進(jìn)行了研究。規(guī)則的數(shù)字號碼信息作為獨立性強的信息可以基于正則表達(dá)式來識別，識別得到的結(jié)果可以通過上下文環(huán)境來判斷其準(zhǔn)確性；人名提取相對復(fù)雜，本文針對中文姓名構(gòu)成的一般規(guī)律和特點，提出一種基于姓氏用字驅(qū)動的統(tǒng)計與規(guī)則相結(jié)合的混合中文姓名識別算法，

3、以姓氏用字為線索，通過分析上下文中漢字形成普通單詞的可能性來進(jìn)行人名識別。
　　 創(chuàng)新點在于把對提取結(jié)果的判準(zhǔn)放在了與提取過程同等重要的位置，通過證據(jù)融合的方法對提取的結(jié)果做出判決，這很好地融合了信息所在的上下文環(huán)境，也使得最終的提取結(jié)果準(zhǔn)確可信。在處理高沖突證據(jù)合成時，先做基于權(quán)重的預(yù)處理，突出重點證據(jù)，然后用Dempster法則進(jìn)行組合。這樣即避免了D-S證據(jù)理論在處理沖突證據(jù)時的不足，也使信息提取的問題得到解決。實例表明，