基于學(xué)術(shù)網(wǎng)絡(luò)的虹檢索系統(tǒng)設(shè)計(jì)與應(yīng)用研究.pdf

1、隨著移動互聯(lián)網(wǎng)、云計(jì)算技術(shù)的快速發(fā)展，各行各業(yè)產(chǎn)生、獲取、處理和存儲的數(shù)據(jù)量正以指數(shù)級別呈爆炸式的增長。大數(shù)據(jù)作為新時(shí)代發(fā)展的標(biāo)志，以多元、多態(tài)、互聯(lián)的形式影響著社會生產(chǎn)生活。在學(xué)術(shù)領(lǐng)域，文獻(xiàn)累積數(shù)量已達(dá)億級，海量文獻(xiàn)數(shù)據(jù)對傳統(tǒng)檢索方法造成了巨大的挑戰(zhàn)。傳統(tǒng)的文獻(xiàn)檢索方法主要通過單一的文獻(xiàn)信息，例如檢索詞與檢索內(nèi)容之間相關(guān)度或者文獻(xiàn)的引用量進(jìn)行排序，并沒有考慮學(xué)術(shù)網(wǎng)絡(luò)中節(jié)點(diǎn)之間的關(guān)聯(lián)關(guān)系以及節(jié)點(diǎn)自身的屬性，因此檢索結(jié)果會存在關(guān)聯(lián)度較差、

2、偏離主題、檢索質(zhì)量不高等缺陷。此外，傳統(tǒng)學(xué)術(shù)檢索系統(tǒng)主要提供文獻(xiàn)檢索服務(wù)，而實(shí)際上領(lǐng)域權(quán)威專家推薦可以更好地指導(dǎo)科研工作者的研究以及發(fā)展方向。針對海量學(xué)術(shù)數(shù)據(jù)，如何挖掘更深層的鏈接結(jié)構(gòu)語義信息，建立專家檢索系統(tǒng)，也是重要的研究課題。數(shù)據(jù)挖掘技術(shù)和分布式計(jì)算的發(fā)展，為解決以上問題提供了有效的手段。本文針對文獻(xiàn)檢索以及專家檢索兩種場景，通過構(gòu)建學(xué)術(shù)信息網(wǎng)絡(luò)，實(shí)現(xiàn)了對檢索方法的優(yōu)化以及檢索系統(tǒng)的應(yīng)用設(shè)計(jì)。
　　首先，在文獻(xiàn)檢索系統(tǒng)中，基

3、于鏈接分析PageRank算法對文獻(xiàn)節(jié)點(diǎn)重要度排序，并針對PageRank算法的性能缺陷做了以下兩方面的改進(jìn):(1)利用學(xué)術(shù)信息網(wǎng)絡(luò)節(jié)點(diǎn)的不同屬性，計(jì)算學(xué)術(shù)網(wǎng)絡(luò)中文獻(xiàn)節(jié)點(diǎn)的權(quán)威度?；谖墨I(xiàn)權(quán)威度對PageRank算法中的權(quán)重分配策略進(jìn)行改進(jìn)，從而提出了SQT-Rank算法，提高了算法的排序性能;(2)考慮到大數(shù)據(jù)背景下文獻(xiàn)數(shù)據(jù)量巨大，利用MapReduce編程模型對SQT-Rank算法并行化處理，提高了算法的計(jì)算性能。
　　再者，

4、與同構(gòu)信息網(wǎng)絡(luò)相比，異構(gòu)信息網(wǎng)絡(luò)蘊(yùn)含更豐富的鏈接結(jié)構(gòu)語義信息。在專家檢索系統(tǒng)中，為進(jìn)行更深層的數(shù)據(jù)挖掘和分析，首先構(gòu)建了學(xué)術(shù)異構(gòu)信息網(wǎng)絡(luò)，并從中抽取了文獻(xiàn)、專家以及期刊相關(guān)的六個(gè)關(guān)系矩陣。最后基于文獻(xiàn)、專家、期刊相互增強(qiáng)作用的統(tǒng)一架構(gòu)，提出專家重要度排序MR-Rank算法，獲得了更加公平合理的專家排序結(jié)果。
　　最后，在上述理論方法研究的基礎(chǔ)上，對基于學(xué)術(shù)網(wǎng)絡(luò)的虹檢索系統(tǒng)進(jìn)行了架構(gòu)設(shè)計(jì)與功能實(shí)現(xiàn)。整個(gè)系統(tǒng)架構(gòu)包含數(shù)據(jù)獲取、數(shù)據(jù)存儲

5、、數(shù)據(jù)索引、數(shù)據(jù)分析以及結(jié)果可視化展現(xiàn)等部分。通過數(shù)據(jù)分析處理實(shí)現(xiàn)對學(xué)術(shù)數(shù)據(jù)提取、清洗、轉(zhuǎn)換，完成文獻(xiàn)、專家節(jié)點(diǎn)重要度分析等功能，最后以指定的方式將排序結(jié)果可視化展示給用戶。
　　綜上，本文主要針對大數(shù)據(jù)背景下海量文獻(xiàn)精準(zhǔn)檢索和領(lǐng)域?qū)＜彝扑]問題。通過構(gòu)建同構(gòu)和異構(gòu)學(xué)術(shù)網(wǎng)絡(luò)模型，基于優(yōu)化后的文獻(xiàn)排序SQT-Rank算法和專家排序MR-Rank算法挖掘網(wǎng)絡(luò)中節(jié)點(diǎn)重要度，并進(jìn)一步應(yīng)用虹檢索系統(tǒng)為用戶推薦高質(zhì)量的文獻(xiàn)、專家，以提高用戶的檢