科研評估體系中數(shù)據(jù)預處理系統(tǒng)設計與實現(xiàn).pdf

1、知識經(jīng)濟條件下，知識更新速度加快，科學技術發(fā)展迅猛，科研評估體系出現(xiàn)了新的發(fā)展動向。在科研評估體系中，數(shù)據(jù)的處理在其中占有重要的作用，隨著大型科技文獻、論文、專利數(shù)據(jù)庫系統(tǒng)等在科學研究中的廣泛應用，全球范圍內的科技數(shù)據(jù)信息量急劇增大。面對龐大的科技信息數(shù)據(jù)庫，需要快捷地從中提取出有用和有效的知識，因此巨大的科技信息數(shù)據(jù)有待分析處理。 本項研究基于中國科學院ARP項目評估評價系統(tǒng)，結合實際的應用實施，分析了現(xiàn)行科研評估系統(tǒng)中

2、數(shù)據(jù)情況，介紹了如何在中科院評估評價系統(tǒng)中構建數(shù)據(jù)預處理系統(tǒng)。本文首次嘗試將數(shù)據(jù)預處理技術應用到科研評估系統(tǒng)的數(shù)據(jù)預處理過程中，開發(fā)一個針對海量評估數(shù)據(jù)的數(shù)據(jù)預處理系統(tǒng)。 本文首先介紹了中國科研評估體系的現(xiàn)狀及其面臨的問題，并對現(xiàn)行的數(shù)據(jù)預處理和元數(shù)據(jù)的研究現(xiàn)狀進行了分析，在此基礎上提出了本研究所設計的系統(tǒng)——數(shù)據(jù)預處理系統(tǒng)。其共分為三個部分：元數(shù)據(jù)庫、規(guī)則定義模塊和數(shù)據(jù)處理模塊。系統(tǒng)的整個工作流程如下：首先將通過數(shù)據(jù)庫掃描

3、獲取源數(shù)據(jù)庫、目標數(shù)據(jù)庫的結構內容信息，并將其存入元數(shù)據(jù)庫中；然后用戶根據(jù)這些結構內容信息，定義數(shù)據(jù)抽取、轉換等各種規(guī)則，以期獲取自己所需要的數(shù)據(jù)，并將其存入元數(shù)據(jù)庫中；最后數(shù)據(jù)處理模塊從元數(shù)據(jù)庫中獲取各種已定義好的規(guī)則，調用其功能模塊對其進行處理，從而獲取用戶所需要的數(shù)據(jù)。在整個系統(tǒng)設計實現(xiàn)中涉及到一系列技術和方法，像數(shù)據(jù)預處理技術、元數(shù)據(jù)模型技術和)(ML技術等等，本文對此也作了一定的介紹。 本文解決的關鍵問題有以下幾方

4、面： 第一、針對數(shù)據(jù)預處理系統(tǒng)設計中關鍵問題之一一元數(shù)據(jù)庫的設計，本文采用三層模型結構：將元數(shù)據(jù)庫邏輯上分為代理層、服務層和對象層。與此層次結構相對應的，元數(shù)據(jù)庫的系統(tǒng)結構設計仍然采用技術比較成熟的客戶機/服務器模式(C1 ient/Server mude)，這樣設計提高系統(tǒng)獨立性，同時為決策和技術人員提供同樣的視角，但提供不同的操作功能。 第二、針對以前評估系統(tǒng)存在的問題——抽取的數(shù)據(jù)不盡如人意，系統(tǒng)設計了規(guī)則定義

5、模塊，方便用戶按照自己的需求定義各種數(shù)據(jù)處理規(guī)則，使系統(tǒng)具有很強的靈活性；同時設計了統(tǒng)一的接口，友好的人機界面，簡單易操作。第三、用戶可以自定義數(shù)據(jù)轉換規(guī)則，給用戶帶來方便的同時，增加了系統(tǒng)的設計實現(xiàn)難度。針對數(shù)據(jù)轉換的復雜性和繁瑣性，本系統(tǒng)采用了系統(tǒng)方法和人工設計方法相結合，來處理各種數(shù)據(jù)格式轉化、不一致性等問題，這樣既不會造成冗余，同時也會使數(shù)據(jù)轉換徹底。 第四、由于在數(shù)據(jù)集成時，數(shù)據(jù)可能來源于多個數(shù)據(jù)源，這樣會給數(shù)據(jù)集成