基于主題的數(shù)據(jù)API檢索平臺(tái)關(guān)鍵技術(shù)的研究與實(shí)現(xiàn).pdf

1、在當(dāng)前的互聯(lián)網(wǎng)時(shí)代，存在著數(shù)據(jù)增長(zhǎng)迅速，然而信息龐雜，用戶(hù)想要從海量數(shù)據(jù)中搜索有用的信息費(fèi)時(shí)費(fèi)力的問(wèn)題。用戶(hù)需要的是更詳細(xì)、細(xì)分的信息，針對(duì)這種情況，本文提出了一種基于主題的數(shù)據(jù)API檢索平臺(tái)。
　　本文設(shè)計(jì)的分布式、可擴(kuò)展的基于主題的數(shù)據(jù)API檢索平臺(tái)，首先將海量的互聯(lián)網(wǎng)信息采集到子系統(tǒng)中，然后對(duì)數(shù)據(jù)進(jìn)行分類(lèi)，對(duì)每一類(lèi)的數(shù)據(jù)通過(guò)檢索的方式提供給用戶(hù)，用戶(hù)通過(guò)選取自己感興趣的信息來(lái)消費(fèi)平臺(tái)中的數(shù)據(jù)。為了提供這樣一個(gè)數(shù)據(jù)API檢索平

2、臺(tái)，首先是能夠?qū)⒋罅康木W(wǎng)頁(yè)抓取下來(lái)，并且需要此功能支持水平擴(kuò)展和穩(wěn)定性。此外為了減少人工成本，又能有效的提取網(wǎng)頁(yè)中的信息，本文提出了半自動(dòng)化的基于模板的網(wǎng)頁(yè)信息提取方法。
　　面對(duì)海量的互聯(lián)網(wǎng)文檔數(shù)據(jù)，需要提供一種合理的方式對(duì)數(shù)據(jù)進(jìn)行分類(lèi)，以便用戶(hù)有針對(duì)性的選擇對(duì)自己有用的數(shù)據(jù)。為此，本文設(shè)計(jì)了基于主題的數(shù)據(jù)分類(lèi)和檢索系統(tǒng)。通過(guò)基于LDA主題模型來(lái)推斷文檔中的主題分布，然后根據(jù)主題分布建立相應(yīng)的API主題和相應(yīng)的API-Key?？?/p>