潛在學(xué)術(shù)合作關(guān)系挖掘.pdf

1、隨著科技的快速發(fā)展，學(xué)科交叉和科研領(lǐng)域的細(xì)化，以個(gè)體封閉式的研究模式攻克科技難題已經(jīng)越來(lái)越困難。只有通過(guò)多人、多實(shí)驗(yàn)室和多學(xué)科合作，才有可能取得較為顯著的科學(xué)成果。雖然互聯(lián)網(wǎng)的發(fā)展使跨地域的合作成為可能，但同時(shí)也帶來(lái)了一些困惑，在全球數(shù)以?xún)|計(jì)的科學(xué)家中，如何選取合作對(duì)象已成為目前亟待解決的問(wèn)題。
　　目前國(guó)內(nèi)外關(guān)于學(xué)術(shù)合作關(guān)系挖掘的研究工作還很少，本文針對(duì)潛在學(xué)術(shù)合作關(guān)系挖掘課題進(jìn)行了研究和技術(shù)實(shí)現(xiàn)。主要工作分為數(shù)據(jù)收集、學(xué)術(shù)合作

2、關(guān)系推薦和數(shù)據(jù)展示三大部分。數(shù)據(jù)收集部分，通過(guò)編寫(xiě)了一個(gè)高效的分布式爬蟲(chóng)框架，用以在互聯(lián)網(wǎng)收集學(xué)術(shù)合作關(guān)系信息。框架支持局域網(wǎng)和廣域網(wǎng)混合部署，實(shí)現(xiàn)了單節(jié)點(diǎn)不少于100萬(wàn)頁(yè)面/天的爬取速度。同時(shí)，為了滿足系統(tǒng)對(duì)高性能數(shù)據(jù)庫(kù)的需求以及解決異構(gòu)環(huán)境部署問(wèn)題，開(kāi)發(fā)了一個(gè)輕量級(jí)分布式ORM框架，實(shí)現(xiàn)了異構(gòu)數(shù)據(jù)庫(kù)連接、自定義存取規(guī)則、使用Java Annotation自動(dòng)對(duì)象裝配等功能，并在SQL解析層提供Filter-Chain模式的接口，以方

3、便用戶(hù)實(shí)現(xiàn)數(shù)據(jù)審計(jì)、權(quán)限控制、日志記錄等功能；在學(xué)術(shù)合作關(guān)系推薦部分，實(shí)現(xiàn)了學(xué)術(shù)關(guān)系推薦算法，并通過(guò)多次實(shí)驗(yàn)歸納出影響學(xué)術(shù)合作質(zhì)量的因素，以獲得較準(zhǔn)確的預(yù)測(cè)結(jié)果。另外，本文還將其擴(kuò)展為并行算法以提高算法效率；在數(shù)據(jù)展示部分，實(shí)現(xiàn)了一個(gè)分布式學(xué)術(shù)信息檢索平臺(tái)，支持查詢(xún)學(xué)者的個(gè)人信息及科研成果，并基于此進(jìn)行學(xué)術(shù)合作關(guān)系推薦，該平臺(tái)基于分布式架構(gòu)設(shè)計(jì)，支持服務(wù)器彈性伸縮策略，具有較高的性能和擴(kuò)展性。
　　本系統(tǒng)已開(kāi)發(fā)完成，并在阿里云上部