基于學(xué)術(shù)網(wǎng)絡(luò)的虹檢索系統(tǒng)設(shè)計(jì)與應(yīng)用研究.pdf

1、隨著移動(dòng)互聯(lián)網(wǎng)、云計(jì)算技術(shù)的快速發(fā)展，各行各業(yè)產(chǎn)生、獲取、處理和存儲(chǔ)的數(shù)據(jù)量正以指數(shù)級(jí)別呈爆炸式的增長(zhǎng)。大數(shù)據(jù)作為新時(shí)代發(fā)展的標(biāo)志，以多元、多態(tài)、互聯(lián)的形式影響著社會(huì)生產(chǎn)生活。在學(xué)術(shù)領(lǐng)域，文獻(xiàn)累積數(shù)量已達(dá)億級(jí)，海量文獻(xiàn)數(shù)據(jù)對(duì)傳統(tǒng)檢索方法造成了巨大的挑戰(zhàn)。傳統(tǒng)的文獻(xiàn)檢索方法主要通過(guò)單一的文獻(xiàn)信息，例如檢索詞與檢索內(nèi)容之間相關(guān)度或者文獻(xiàn)的引用量進(jìn)行排序，并沒(méi)有考慮學(xué)術(shù)網(wǎng)絡(luò)中節(jié)點(diǎn)之間的關(guān)聯(lián)關(guān)系以及節(jié)點(diǎn)自身的屬性，因此檢索結(jié)果會(huì)存在關(guān)聯(lián)度較差、

2、偏離主題、檢索質(zhì)量不高等缺陷。此外，傳統(tǒng)學(xué)術(shù)檢索系統(tǒng)主要提供文獻(xiàn)檢索服務(wù)，而實(shí)際上領(lǐng)域權(quán)威專(zhuān)家推薦可以更好地指導(dǎo)科研工作者的研究以及發(fā)展方向。針對(duì)海量學(xué)術(shù)數(shù)據(jù)，如何挖掘更深層的鏈接結(jié)構(gòu)語(yǔ)義信息，建立專(zhuān)家檢索系統(tǒng)，也是重要的研究課題。數(shù)據(jù)挖掘技術(shù)和分布式計(jì)算的發(fā)展，為解決以上問(wèn)題提供了有效的手段。本文針對(duì)文獻(xiàn)檢索以及專(zhuān)家檢索兩種場(chǎng)景，通過(guò)構(gòu)建學(xué)術(shù)信息網(wǎng)絡(luò)，實(shí)現(xiàn)了對(duì)檢索方法的優(yōu)化以及檢索系統(tǒng)的應(yīng)用設(shè)計(jì)。
　　首先，在文獻(xiàn)檢索系統(tǒng)中，基

3、于鏈接分析PageRank算法對(duì)文獻(xiàn)節(jié)點(diǎn)重要度排序，并針對(duì)PageRank算法的性能缺陷做了以下兩方面的改進(jìn):(1)利用學(xué)術(shù)信息網(wǎng)絡(luò)節(jié)點(diǎn)的不同屬性，計(jì)算學(xué)術(shù)網(wǎng)絡(luò)中文獻(xiàn)節(jié)點(diǎn)的權(quán)威度?；谖墨I(xiàn)權(quán)威度對(duì)PageRank算法中的權(quán)重分配策略進(jìn)行改進(jìn)，從而提出了SQT-Rank算法，提高了算法的排序性能;(2)考慮到大數(shù)據(jù)背景下文獻(xiàn)數(shù)據(jù)量巨大，利用MapReduce編程模型對(duì)SQT-Rank算法并行化處理，提高了算法的計(jì)算性能。
　　再者，

4、與同構(gòu)信息網(wǎng)絡(luò)相比，異構(gòu)信息網(wǎng)絡(luò)蘊(yùn)含更豐富的鏈接結(jié)構(gòu)語(yǔ)義信息。在專(zhuān)家檢索系統(tǒng)中，為進(jìn)行更深層的數(shù)據(jù)挖掘和分析，首先構(gòu)建了學(xué)術(shù)異構(gòu)信息網(wǎng)絡(luò)，并從中抽取了文獻(xiàn)、專(zhuān)家以及期刊相關(guān)的六個(gè)關(guān)系矩陣。最后基于文獻(xiàn)、專(zhuān)家、期刊相互增強(qiáng)作用的統(tǒng)一架構(gòu)，提出專(zhuān)家重要度排序MR-Rank算法，獲得了更加公平合理的專(zhuān)家排序結(jié)果。
　　最后，在上述理論方法研究的基礎(chǔ)上，對(duì)基于學(xué)術(shù)網(wǎng)絡(luò)的虹檢索系統(tǒng)進(jìn)行了架構(gòu)設(shè)計(jì)與功能實(shí)現(xiàn)。整個(gè)系統(tǒng)架構(gòu)包含數(shù)據(jù)獲取、數(shù)據(jù)存儲(chǔ)

5、、數(shù)據(jù)索引、數(shù)據(jù)分析以及結(jié)果可視化展現(xiàn)等部分。通過(guò)數(shù)據(jù)分析處理實(shí)現(xiàn)對(duì)學(xué)術(shù)數(shù)據(jù)提取、清洗、轉(zhuǎn)換，完成文獻(xiàn)、專(zhuān)家節(jié)點(diǎn)重要度分析等功能，最后以指定的方式將排序結(jié)果可視化展示給用戶。
　　綜上，本文主要針對(duì)大數(shù)據(jù)背景下海量文獻(xiàn)精準(zhǔn)檢索和領(lǐng)域?qū)＜彝扑]問(wèn)題。通過(guò)構(gòu)建同構(gòu)和異構(gòu)學(xué)術(shù)網(wǎng)絡(luò)模型，基于優(yōu)化后的文獻(xiàn)排序SQT-Rank算法和專(zhuān)家排序MR-Rank算法挖掘網(wǎng)絡(luò)中節(jié)點(diǎn)重要度，并進(jìn)一步應(yīng)用虹檢索系統(tǒng)為用戶推薦高質(zhì)量的文獻(xiàn)、專(zhuān)家，以提高用戶的檢