大數(shù)據(jù)環(huán)境下實(shí)體關(guān)系挖掘關(guān)鍵技術(shù)研究.pdf

1、實(shí)體關(guān)系挖掘是具有重要意義的研究課題。實(shí)體關(guān)系挖掘的根本任務(wù)是從文本數(shù)據(jù)中發(fā)現(xiàn)實(shí)體與實(shí)體之間的關(guān)系。隨著計(jì)算機(jī)技術(shù)和互聯(lián)網(wǎng)的不斷發(fā)展，當(dāng)今社會(huì)已經(jīng)步入大數(shù)據(jù)時(shí)代。文本數(shù)據(jù)量的增長(zhǎng)在提供了更多實(shí)體關(guān)系數(shù)據(jù)的同時(shí)，也對(duì)實(shí)體關(guān)系挖掘的研究方法提出了更高的要求。
　　本文對(duì)實(shí)體關(guān)系挖掘相關(guān)技術(shù)進(jìn)行了總結(jié)，重點(diǎn)研究了在關(guān)系挖掘領(lǐng)域內(nèi)占主導(dǎo)地位的有監(jiān)督的實(shí)體關(guān)系挖掘方法。論文在分析了有監(jiān)督方法中涉及的相關(guān)技術(shù)的基礎(chǔ)上，針對(duì)其中的不足和在大數(shù)據(jù)

2、環(huán)境下存在的問(wèn)題進(jìn)行了研究。主要工作包括以下幾個(gè)方面:
　　(1)論文提出了一種基于詞性加權(quán)的語(yǔ)義序列核函數(shù)，用以計(jì)算實(shí)體關(guān)系的相似度?；谠~性加權(quán)的語(yǔ)義序列核函數(shù)對(duì)已有的語(yǔ)義序列核函數(shù)方法進(jìn)行了擴(kuò)充，在保留了原方法在句式結(jié)構(gòu)分析和語(yǔ)義分析等方面的優(yōu)勢(shì)的基礎(chǔ)上，增加了對(duì)應(yīng)詞性知識(shí)的影響因子。這使得關(guān)系相似度計(jì)算更加符合語(yǔ)言特征，相似度計(jì)算結(jié)果更加準(zhǔn)確，進(jìn)而保證關(guān)系挖掘的正確性。
　　(2)分類算法是有監(jiān)督實(shí)體關(guān)系挖掘體系的重

3、要組成部分。針對(duì)訓(xùn)練樣本集較大環(huán)境下KNN分類算法的計(jì)算效率低的問(wèn)題和訓(xùn)練樣本不均衡對(duì)分類準(zhǔn)確度造成影響的問(wèn)題，本文提出了一種基于Fisher準(zhǔn)則和層次聚類的KNN樣本空間修剪算法。算法在剔除訓(xùn)練樣本集中的部分?jǐn)?shù)據(jù)的同時(shí)，使得樣本在各類之間分布趨于均勻。算法在提高KNN分類效率的基礎(chǔ)上，保持了良好的分類準(zhǔn)確率和召回率。
　　(3)論文結(jié)合目前的大數(shù)據(jù)處理框架MapReduce，針對(duì)關(guān)系挖掘過(guò)程中數(shù)據(jù)的特點(diǎn)，設(shè)計(jì)了一種基于MapRe