維基百科上的語義搜索.pdf

1、維基百科，作為最著名的Web 2.0 應(yīng)用之一，在大批志愿者的協(xié)作編輯下，逐漸成為世界上最大的免費(fèi)在線百科全書。維基百科中的內(nèi)容和文章組織方式使其成為一個(gè)方便的在線知識(shí)門戶網(wǎng)站，這也是使其取得巨大成功的關(guān)鍵因素。維基百科里，幾乎每篇文章都是對(duì)一個(gè)實(shí)體的詳盡描述，含有豐富的文本信息。此外，文章中也含有豐富的結(jié)構(gòu)化信息，如類別系統(tǒng)和信息盒數(shù)據(jù)。最近有越來越多的工作從維基百科中抽取出這些結(jié)構(gòu)化信息并表示成語義數(shù)據(jù)。然而現(xiàn)有搜索引擎并沒有充分利

2、用維基百科中豐富的結(jié)構(gòu)化和語義數(shù)據(jù)，因此極大限制了用戶對(duì)于該大規(guī)模知識(shí)庫的利用。 隨著維基百科的快速發(fā)展，其中的文本信息和語義信息也越來越多。 因而，如何更好、更快并且更智能化的訪問這些信息成為一個(gè)重要問題。 這就需要一個(gè)同時(shí)基于文本信息及語義信息的有效的搜索服務(wù)。語義搜索正是用來解決這一問題的關(guān)鍵技術(shù)。因此，本課題研究將語義搜索技術(shù)應(yīng)用于維基百科，搭建維基百科上的語義搜索系統(tǒng)，從而讓用戶擁有更強(qiáng)大的搜索能力，得

3、以更充分的利用該大規(guī)模知識(shí)庫。 在維基百科上搭建語義搜索系統(tǒng)有三大難點(diǎn)：如何更充分的挖掘維基百科中的語義數(shù)據(jù)，構(gòu)建大規(guī)模知識(shí)庫；如何提供盡可能強(qiáng)大的混合查詢能力，支持對(duì)文本信息和語義信息的混合查詢，并保證其高效性； 如何對(duì)用戶提供友好的搜索界面，使其在支持強(qiáng)大的混合查詢能力的同時(shí)，仍然保持易用的特點(diǎn)。 考慮到現(xiàn)有基于維基百科信息盒及文本抽取語義數(shù)據(jù)的方法具有較低的文章覆蓋率，本文進(jìn)一步挖掘維基百科分類系統(tǒng)中所隱含

4、的知識(shí)，提出了基于維基百科父子類別對(duì)的自動(dòng)抽取三元組數(shù)據(jù)的方法?；诰S基百科的大量語義數(shù)據(jù)和豐富文本信息，本文提出了一個(gè)擴(kuò)展信息檢索引擎的索引結(jié)構(gòu)和功能來提供高效混合查詢的新方法。首先我們定義了一種樹型混合查詢，同時(shí)具有結(jié)構(gòu)化查詢和關(guān)鍵字查詢的能力。然后我們擴(kuò)展信息檢索引擎中廣泛使用的倒排索引技術(shù)來支持對(duì)關(guān)系的索引，將混合查詢的處理算法分解為倒排索引上的基本操作，并實(shí)現(xiàn)考慮關(guān)系的排序機(jī)制。利用這個(gè)方法可以對(duì)海量的語義數(shù)據(jù)及文本信息進(jìn)行索

5、引，并且可以高效的處理用戶的混合查詢。為設(shè)計(jì)友好的搜索界面，本文擴(kuò)展了廣泛使用于結(jié)構(gòu)化數(shù)據(jù)的多視角瀏覽及搜索界面，讓用戶從熟悉的關(guān)鍵字搜索入手，在返回搜索結(jié)果的同時(shí)自動(dòng)對(duì)當(dāng)前結(jié)果所屬的類別及所涉及的關(guān)系給出提示，引導(dǎo)用戶迭代該過程并完成復(fù)雜的混合查詢。 實(shí)驗(yàn)表明，本文基于維基百科類別自動(dòng)抽取語義數(shù)據(jù)的方法在文章覆蓋率上超越了以前的工作，同時(shí)進(jìn)一步擴(kuò)充了三元組數(shù)據(jù)。本文實(shí)現(xiàn)的語義搜索系統(tǒng)在保證高效和易用的前提下，大大增強(qiáng)了用戶在維