基于Hadoop的科技項目相似度計算研究.pdf

1、《國家中長期科學和技術(shù)發(fā)展規(guī)劃綱要（2006-2020年）》實施以來，我國財政科技投入快速增長，科技項目和資金管理不斷改進，為科技事業(yè)發(fā)展提供了有力支撐。同時也給科技項目管理工作帶來了新的挑戰(zhàn)：第一，隨著科技項目申報數(shù)量的增加存在項目重復申報、重復立項等突出問題。第二，隨著各學科不斷細化以及學科交叉、融合日益加劇，科技項目研究的廣泛交流與合作是科技發(fā)展的重要推動力，根據(jù)項目的相似度進行合理的整合是未來發(fā)展的趨勢。加強項目相似度分析是解決

2、這些問題的關(guān)鍵，項目的相似度分析一般是通過申請書的相似度計算找到相似項目，從而為項目立項提供一定依據(jù)，論文主要研究內(nèi)容包括以下幾個方面。
　　首先，分析科技項目相似度計算的關(guān)鍵技術(shù)，針對科技項目申請書中存在的大量專業(yè)術(shù)語，提出一種改進的基于詞序列頻率有向網(wǎng)的未登錄詞識別方法。該方法依據(jù)詞性對項目申請書的分詞進行過濾，并結(jié)合停用詞表對提取出的未登錄詞進行過濾。將提取出的未登錄詞作為特征詞的一部分，結(jié)合剩余特征詞構(gòu)建基于向量空間和圖模

3、型的申請書表示模型，然后基于該模型計算申請書的相似度。
　　其次，提出最大團方法求解圖模型的相似度。圖模型的相似度可以通過最大公共子圖求解，同時圖的最大公共子圖問題又可以轉(zhuǎn)化成求解最大團問題。
　　最后，隨著科技項目數(shù)量的增加，科技項目相似度計算涉及到的申請書預(yù)處理、特征詞提取以及相似度計算等技術(shù)計算量大、計算時間長，為解決這一問題本文結(jié)合Hadoop分布式計算平臺，利用MapReduce并行計算框架將申請書相似度計算每一個