基于海量文本數(shù)據(jù)的實(shí)體關(guān)系抽取及挖掘.pdf

1、在信息研究領(lǐng)域,信息抽取技術(shù)是一項(xiàng)必不可少的關(guān)鍵技術(shù)。面對(duì)如此海量的信息空間,如何更快更準(zhǔn)確的抽取出用戶感興趣的內(nèi)容是一個(gè)迫切需要解決的問題,也是信息挖掘技術(shù)的一個(gè)重要研究方向。信息抽取不同于信息檢索等信息處理技術(shù),它需要對(duì)文本進(jìn)行命名實(shí)體的識(shí)別,并抽取出實(shí)體之間的關(guān)系,再加上中文文本中詞語的靈活多變、構(gòu)詞復(fù)雜且沒有明顯的標(biāo)志,因此對(duì)中文命名實(shí)體的識(shí)別及關(guān)系的抽取就顯得更加困難。
　　 目前,信息抽取的主要方法有兩種,一種是基于

2、知識(shí)庫算法,這種方法需要建立一些規(guī)則,雖然這種方法的準(zhǔn)確率較高,但是這種規(guī)則的確定是比較困難的,對(duì)編寫者有較高的要求,且移植性不高;另一種是基于統(tǒng)計(jì)的機(jī)器學(xué)習(xí)算法,這種算法采用不同的模型,并利用人工標(biāo)注的訓(xùn)練集進(jìn)行學(xué)習(xí),對(duì)于新的數(shù)據(jù)集則采用模型算出其相關(guān)的概率,并以此來得到最終的結(jié)果。這種方法代價(jià)較小,性能較高,便于移植,所以是當(dāng)前研究的熱點(diǎn)。
　　 隨著網(wǎng)絡(luò)信息量的增大,對(duì)海量文本數(shù)據(jù)的信息抽取也變得復(fù)雜起來。如何利用海量文本

3、數(shù)據(jù)來對(duì)實(shí)體關(guān)系進(jìn)行更為準(zhǔn)確的抽取是本文所要研究的一個(gè)重要問題。而這種大數(shù)據(jù)量的計(jì)算對(duì)算法的性能要求較高,采用何種策略來應(yīng)對(duì)這種繁重的計(jì)算任務(wù)也是一個(gè)重要的問題。針對(duì)這些關(guān)鍵問題,本文提出了相應(yīng)的解決方案,主要貢獻(xiàn)有:
　　 提出一種基于語義和SVM的實(shí)體關(guān)系抽取算法,在對(duì)實(shí)體關(guān)系的抽取中加入語義特征,以此來構(gòu)造特征向量,提高關(guān)系抽取的準(zhǔn)確性和算法的泛化能力。
　　 提出了利用海量文本數(shù)據(jù)來對(duì)實(shí)體隱含關(guān)系進(jìn)行挖掘的算法。

4、通過對(duì)海量文本數(shù)據(jù)進(jìn)行分析,基于前面已經(jīng)識(shí)別出來的實(shí)體及關(guān)系構(gòu)造實(shí)體關(guān)系網(wǎng)絡(luò),并采用優(yōu)化算法來確定最終結(jié)果;基于這個(gè)最終結(jié)果來對(duì)實(shí)體隱含的關(guān)系進(jìn)行挖掘,得到更為廣泛的實(shí)體關(guān)系,有利于從宏觀方面把握整個(gè)海量數(shù)據(jù)的信息。
　　 研究和分析了Hadoop大規(guī)模數(shù)據(jù)處理平臺(tái),在此平臺(tái)上設(shè)計(jì)并實(shí)現(xiàn)了海量文本數(shù)據(jù)的實(shí)體關(guān)系抽取及挖掘系統(tǒng),并將本文中提到的算法在平臺(tái)上進(jìn)行驗(yàn)證。
　　 本文提出的基于語義與SVM的實(shí)體關(guān)系抽取算法對(duì)于實(shí)