基于維基百科和web共現(xiàn)分析的概念關(guān)系網(wǎng)構(gòu)建系統(tǒng)研究與實(shí)現(xiàn).pdf

1、隨著知識(shí)的爆炸性增長,如何從浩瀚的信息中找到用戶最需要的部分已成為一大難題。為解決這個(gè)問題,信息檢索和推薦系統(tǒng)從不同的層面提供了很好的幫助。信息檢索通過分析文檔內(nèi)容提供通用的信息查詢功能,而推薦系統(tǒng)利用用戶和內(nèi)容之間的關(guān)聯(lián),提供個(gè)性化的信息推送。但是,這些方法依然無法從總體上對知識(shí)進(jìn)行理解,即從總體上把握知識(shí)的組成和各部分知識(shí)之間的關(guān)系。
　　 概念關(guān)系網(wǎng)是知識(shí)結(jié)構(gòu)描述的有效手段,用于描述知識(shí)的組成部分以及各部分之間的關(guān)系。一個(gè)

2、優(yōu)良的概念關(guān)系網(wǎng)可以直觀的展示知識(shí)的內(nèi)部關(guān)系,幫助挖掘隱含的知識(shí),用于提高知識(shí)管理系統(tǒng)的性能。
　　 在分析比較了現(xiàn)有的知識(shí)庫,包括格式化的語義關(guān)系庫和半結(jié)構(gòu)化的知識(shí)集的基礎(chǔ)上,文章結(jié)合了維基百科的特性和共現(xiàn)分析技術(shù),提出了概念關(guān)系網(wǎng)快速構(gòu)建和自動(dòng)維護(hù)的完整解決方案。本文的關(guān)鍵研究內(nèi)容如下:
　　 結(jié)合維基百科的知識(shí)處理技術(shù)和共現(xiàn)分析技術(shù),本文提出了基于維基百科和web共現(xiàn)分析的概念關(guān)系網(wǎng)構(gòu)建框架CACN-WCA(Con

3、struction Architecture ofConceptual Network Based on Wikipedia and Co-occurrence Analysis)。該框架根據(jù)概念關(guān)系網(wǎng)構(gòu)建階段和更新維護(hù)階段的不同需求,分別提出了基于維基百科數(shù)據(jù)集和web數(shù)據(jù)集的解決方案。在概念關(guān)系網(wǎng)初始化階段,充分利用維基百科豐富的語義信息對概念進(jìn)行標(biāo)記,提出維基百科中的概念關(guān)系識(shí)別模型,實(shí)現(xiàn)概念關(guān)系網(wǎng)的快速初始化；在概念關(guān)系網(wǎng)更新階

4、段以概念共現(xiàn)和相關(guān)度之間的聯(lián)系為基礎(chǔ),在大規(guī)模的web數(shù)據(jù)集中,通過對概念共現(xiàn)信息的跟蹤,實(shí)現(xiàn)了概念關(guān)系網(wǎng)的動(dòng)態(tài)更新。
　　 在CACN-WCA系統(tǒng)結(jié)構(gòu)的指導(dǎo)下,文章對概念關(guān)系網(wǎng)構(gòu)建和維護(hù)的核心技術(shù),包括維基百科概念重要度算法、維基百科概念對分析算法、新概念/新概念對識(shí)別算法以及概念對權(quán)重調(diào)整算法,進(jìn)行了深入的研究。
　　 在概念關(guān)系網(wǎng)初始化階段,文章以維基百科提供的數(shù)據(jù)庫文件為分析素材。首先利用改進(jìn)的Croughton

5、-London規(guī)則移除數(shù)據(jù)集中包含的不完善頁面,又稱為stub頁面,在剩余文檔中,根據(jù)文檔內(nèi)容的完整性、可靠性等標(biāo)準(zhǔn)給不同的概念標(biāo)記相應(yīng)的重要度。接下來,概念對分析算法以維基百科文檔為分析單位,引入了維基百科文檔星型模型來表示文檔詞條和標(biāo)記概念中的關(guān)系,從中生成概念關(guān)系對。對于每個(gè)概念對權(quán)重的計(jì)算,算法中根據(jù)這一原則:標(biāo)記概念在文檔中的重要度反映了該概念與文檔詞條的相關(guān)程度,從而利用文檔中概念的語義信息計(jì)算出概念對的相關(guān)度權(quán)重。

6、　　 在關(guān)系網(wǎng)更新階段,文章以基于web數(shù)據(jù)的共現(xiàn)分析技術(shù)為基礎(chǔ),利用新概念/新概念對識(shí)別算法和概念對權(quán)重調(diào)整算法分別實(shí)現(xiàn)新元素的增加和已有元素屬性的調(diào)節(jié)。在新概念/新概念對識(shí)別算法中,除了出現(xiàn)頻率這一標(biāo)準(zhǔn),文章中還提出了累計(jì)增益的概念,從變化趨勢中識(shí)別出重要的元素。在概念對權(quán)重的調(diào)節(jié)中,文章提出了概念權(quán)重衰減模型和概念權(quán)重沖激模型,在使概念權(quán)重自然衰減的同時(shí),利用共現(xiàn)信息來重新提升概念對的相關(guān)權(quán)重,實(shí)現(xiàn)概念關(guān)系網(wǎng)的動(dòng)態(tài)平衡。