一種基于分布式路由思想的實體知識推薦模型.pdf

1、大數(shù)據(jù)時代，Web信息呈爆炸性增長，數(shù)據(jù)量的巨大給人們帶來了新的挑戰(zhàn)，傳統(tǒng)關系數(shù)據(jù)庫在海量數(shù)據(jù)存儲和處理上捉襟見肘，為了提高運算性能和解決系統(tǒng)可擴展問題，利用分布式平臺處理數(shù)據(jù)提取知識勢在必行。雖然數(shù)據(jù)量日益龐大，但其價值密度卻比較低，用戶面臨著信息過載帶來的知識獲取困擾。如何從數(shù)據(jù)海洋中挖掘知識并推薦給用戶，成為了當今亟待解決的問題。
　　知識推薦是指根據(jù)用戶當前搜索，將與之相關的知識從隱形或顯性的資源中提取并推薦的過程。知識推

2、薦通常作為搜索引擎的一部分實現(xiàn)，傳統(tǒng)的知識推薦多是基于“關鍵詞”的，鑒于這種方式的推薦不能“理解”用戶的語義，Google、Bing等搜索引擎已開始嘗試將Web中的信息按實體的方式表示、集成和推薦。基于實體的搜索和推薦已成為搜索引擎競爭的新領域，代表了未來搜索引擎的發(fā)展方向。在搜索引擎向?qū)嶓w技術革新的階段，如何利用分布式平臺存儲和處理數(shù)據(jù)，并基于實體給用戶進行可視化的知識推薦是一個值得研究的綜合性課題。
　　基于上述背景，本文提出

3、了一種基于分布式路由思想的實體知識推薦模型，模型能從維基百科中抽取出大量實體數(shù)據(jù)，并通過分布式運算獲取實體之間的關系，然后以關系為基礎為用戶進行知識推薦。其中，數(shù)據(jù)采集過程模擬了網(wǎng)絡爬蟲的工作機制，為避免數(shù)據(jù)的重復抽取引入了Bloom Filter算法。采集好的初始數(shù)據(jù)通過預處理后轉(zhuǎn)換成實體數(shù)據(jù)保存于搭建好的Hadoop云平臺中。同時提出并采用了一種基于分布式路由思想的實體關系提取方法ERA(Entity RelationAcquisi