基于中文百科的概念知識庫構(gòu)建.pdf

1、近年來，移動互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、云計算等技術(shù)迅猛發(fā)展，網(wǎng)絡(luò)應(yīng)用層出不窮，引發(fā)了網(wǎng)絡(luò)數(shù)據(jù)的爆炸式增長。如何從大規(guī)模數(shù)據(jù)中獲取有價值的知識并對其進行深入的計算和分析成為了當前研究的熱點。
　　目前，世界上已有的知識庫中大部分都是以英文維基百科或其他英文資源為基礎(chǔ)構(gòu)建的。中文百科（百度百科、互動百科和中文維基百科）涵蓋規(guī)模大、覆蓋率高、更新速度快，具有很高的研究價值。本文致力于構(gòu)建一個基于中文百科的知識庫，根據(jù)實際需求重點做了以下幾個工作:

2、
　　(1)百科網(wǎng)頁爬蟲及網(wǎng)頁分析:本文以廣度優(yōu)先的方法下載百科開放分類和詞條的鏈接，然后使用多線程的策略下載網(wǎng)頁內(nèi)容;通過分析網(wǎng)頁結(jié)構(gòu)特征，利用啟發(fā)式規(guī)則等方法從網(wǎng)頁中抽取出語義信息。
　　(2)概念層次結(jié)構(gòu)構(gòu)建:本文提出了一種從互動百科開放分類體系中構(gòu)建概念之間的層次結(jié)構(gòu)的方法，通過提取開放分類的語言規(guī)則特征和語義特征，以決策樹分類器作為基分類器，訓(xùn)練Adaboost模型抽取百科開放分類之間的上下位關(guān)系，構(gòu)建概念層次結(jié)構(gòu)

3、;使用同樣的方法抽取百科分類與詞條之間的上下位關(guān)系，確定分類的實例。
　　(3)屬性值抽取:本文使用條件隨機場的方法抽取屬性值。首先從百科網(wǎng)頁中抽取出信息框?qū)傩院蛯傩灾?，用它們來學(xué)習(xí)得到訓(xùn)練數(shù)據(jù)集及需要抽取的屬性集，然后使用關(guān)鍵字匹配的方法從詞條正文中抽取得到候選句子，最后訓(xùn)練條件隨機場模型從候選句子中抽取屬性值。
　　本文以互動百科開放分類體系為基礎(chǔ)初步構(gòu)建了概念層次系統(tǒng)，并且以互動百科“人物”分類下的詞條為數(shù)據(jù)集進行屬性