基于Hadoop的科技項(xiàng)目相似度計(jì)算研究.pdf

1、《國(guó)家中長(zhǎng)期科學(xué)和技術(shù)發(fā)展規(guī)劃綱要（2006-2020年）》實(shí)施以來(lái)，我國(guó)財(cái)政科技投入快速增長(zhǎng)，科技項(xiàng)目和資金管理不斷改進(jìn)，為科技事業(yè)發(fā)展提供了有力支撐。同時(shí)也給科技項(xiàng)目管理工作帶來(lái)了新的挑戰(zhàn)：第一，隨著科技項(xiàng)目申報(bào)數(shù)量的增加存在項(xiàng)目重復(fù)申報(bào)、重復(fù)立項(xiàng)等突出問(wèn)題。第二，隨著各學(xué)科不斷細(xì)化以及學(xué)科交叉、融合日益加劇，科技項(xiàng)目研究的廣泛交流與合作是科技發(fā)展的重要推動(dòng)力，根據(jù)項(xiàng)目的相似度進(jìn)行合理的整合是未來(lái)發(fā)展的趨勢(shì)。加強(qiáng)項(xiàng)目相似度分析是解決

2、這些問(wèn)題的關(guān)鍵，項(xiàng)目的相似度分析一般是通過(guò)申請(qǐng)書的相似度計(jì)算找到相似項(xiàng)目，從而為項(xiàng)目立項(xiàng)提供一定依據(jù)，論文主要研究?jī)?nèi)容包括以下幾個(gè)方面。
　　首先，分析科技項(xiàng)目相似度計(jì)算的關(guān)鍵技術(shù)，針對(duì)科技項(xiàng)目申請(qǐng)書中存在的大量專業(yè)術(shù)語(yǔ)，提出一種改進(jìn)的基于詞序列頻率有向網(wǎng)的未登錄詞識(shí)別方法。該方法依據(jù)詞性對(duì)項(xiàng)目申請(qǐng)書的分詞進(jìn)行過(guò)濾，并結(jié)合停用詞表對(duì)提取出的未登錄詞進(jìn)行過(guò)濾。將提取出的未登錄詞作為特征詞的一部分，結(jié)合剩余特征詞構(gòu)建基于向量空間和圖模

3、型的申請(qǐng)書表示模型，然后基于該模型計(jì)算申請(qǐng)書的相似度。
　　其次，提出最大團(tuán)方法求解圖模型的相似度。圖模型的相似度可以通過(guò)最大公共子圖求解，同時(shí)圖的最大公共子圖問(wèn)題又可以轉(zhuǎn)化成求解最大團(tuán)問(wèn)題。
　　最后，隨著科技項(xiàng)目數(shù)量的增加，科技項(xiàng)目相似度計(jì)算涉及到的申請(qǐng)書預(yù)處理、特征詞提取以及相似度計(jì)算等技術(shù)計(jì)算量大、計(jì)算時(shí)間長(zhǎng)，為解決這一問(wèn)題本文結(jié)合Hadoop分布式計(jì)算平臺(tái)，利用MapReduce并行計(jì)算框架將申請(qǐng)書相似度計(jì)算每一個(gè)