基于多源異構(gòu)數(shù)據(jù)融合的概念層次體系構(gòu)建及其應(yīng)用研究.pdf

1、領(lǐng)域?qū)＜覙?gòu)建豐富的領(lǐng)域概念層次體系，將領(lǐng)域知識(shí)自頂向下、逐層分類，方便用戶檢索與獲取信息。同時(shí)，概念層次體系構(gòu)建還能為自動(dòng)問答、機(jī)器翻譯等研究提供支持。目前，傳統(tǒng)的手工構(gòu)建與半自動(dòng)構(gòu)建方法效率低、成本高、跨平臺(tái)使用難度大;而自動(dòng)構(gòu)建方法則往往依賴于單一語(yǔ)料，抽取出的概念不夠準(zhǔn)確，層次關(guān)系比較單一。為此，本論文結(jié)合半結(jié)構(gòu)化的專業(yè)語(yǔ)料庫(kù)與非結(jié)構(gòu)化的用戶生成內(nèi)容(UserGenetrated Conent，UGC)，利用多源異構(gòu)數(shù)據(jù)融合的方法

2、構(gòu)建概念層次體系。一方面，利用專業(yè)領(lǐng)域語(yǔ)料庫(kù)，初步構(gòu)建概念層次體系;另一方面，針對(duì)非結(jié)構(gòu)UGC，分別進(jìn)行關(guān)鍵詞抽取、詞語(yǔ)相似度計(jì)算、概念層次體系構(gòu)建等三個(gè)方面的研究。
　　首先，在關(guān)鍵詞抽取研究中，本文結(jié)合模式匹配、統(tǒng)計(jì)特征排序、序列標(biāo)注等多種關(guān)鍵詞抽取策略，提出一種基于種子詞擴(kuò)展的關(guān)鍵詞抽取方法。首先，基于模式匹配與統(tǒng)計(jì)特征排序的策略獲得種子詞;其次，基于條件隨機(jī)場(chǎng)(Conditional RandomFields，CRFs)模

3、型擴(kuò)展種子詞。本文通過與TF*IDF、TextRank、NC_value、CRFs等算法進(jìn)行對(duì)比試驗(yàn)，證明本文策略不僅可以擺脫統(tǒng)計(jì)特征抽取對(duì)高頻詞的依賴，還能在一定程度上解決句法模板的限制，獲得更高的召回率。
　　其次，在詞語(yǔ)相似度計(jì)算研究中，本文提出一種基于多源知識(shí)融合的詞語(yǔ)相似度計(jì)算方法。首先，分別基于語(yǔ)詞知識(shí)體系（同義詞詞林、知網(wǎng)）、大規(guī)模語(yǔ)料資源（微博語(yǔ)料、新聞?wù)Z料）、搜索引擎資源（百度、必應(yīng)），通過單獨(dú)的算法計(jì)算詞語(yǔ)相似

4、度;其次，基于支持向量機(jī)回歸機(jī)(Support Vector Regression，SVR)集成多個(gè)算法的計(jì)算結(jié)果，獲得最終的詞語(yǔ)相似度。實(shí)驗(yàn)結(jié)果表明，當(dāng)訓(xùn)練集數(shù)據(jù)量足夠大時(shí)，本文方法在性能及算法穩(wěn)定性上，都要遠(yuǎn)高于其他幾種單獨(dú)的算法。
　　最后，在概念層次體系構(gòu)建研究中，本文通過Kmeans聚類算法獲得概念間的層次關(guān)系。由于不同聚類算法獲得的聚類結(jié)果存在較大差異，因此，本文對(duì)比相似性傳播算法(Affinity Propagati

5、on，AP)、層次聚類算法（Hierarchical Clustering），通過聚類評(píng)估量化評(píng)價(jià)其聚類效果，并據(jù)此確定合適的聚類算法。
　　本文將基于UGC的概念層次體系與基于專業(yè)領(lǐng)域語(yǔ)料庫(kù)的概念層次體系進(jìn)行融合，最終得到的該領(lǐng)域的概念層次體系。
　　為了評(píng)價(jià)該概念層次體系的質(zhì)量，本文使用外部評(píng)估方法，即通過應(yīng)用來(lái)評(píng)價(jià)概念層次體系的質(zhì)量。通過情感分析任務(wù)的實(shí)驗(yàn)表明，基于概念層次體系擴(kuò)充情感向量空間維度，可以顯著提升情感分析