創(chuàng)新評價與評價創(chuàng)新 evaluation of innovation and …

1、“世界科學(xué)文獻(xiàn)定性評價統(tǒng)計數(shù)據(jù)庫”與引文定性分類下的學(xué)術(shù)文獻(xiàn)計量評價方法,肖 宏中國學(xué)術(shù)期刊（光盤版）電子雜志社,,一、項目背景,科研評價的目的——控制研究活動質(zhì)量！科研評價的對象——政策、計劃、投資、項目、成果、人才、管理！科研評價的方法——同行評議、案例調(diào)研、文獻(xiàn)計量和經(jīng)濟(jì)計量等。開展學(xué)術(shù)文獻(xiàn)的評價，是科研評價的基礎(chǔ)工作——提供決策參考、客觀支撐！,1.1 開展學(xué)術(shù)文獻(xiàn)評價的必要性,（1）同行評議組織模式與評價手段落

2、后： 定性評價如何客觀？高效？低成本？（2）文獻(xiàn)計量的科學(xué)性、合理性不足： 統(tǒng)計源的代表性、權(quán)威性，指標(biāo)的科學(xué)性，數(shù)據(jù)的及時、可靠？（3）缺乏對引證數(shù)據(jù)的定性分析: 文獻(xiàn)計量統(tǒng)計≠定性評價意見。,1.2 問題的提出：當(dāng)前學(xué)術(shù)文獻(xiàn)評價體系主要存在三大本質(zhì)性缺陷：,（1）單純依賴同行評議定性評價的缺陷：既受“同行”-專家群體專業(yè)水平和主觀評判能力的挑戰(zhàn)，也受“評議”-評價標(biāo)準(zhǔn)的科

3、學(xué)性和評議過程合理性的挑戰(zhàn),例如：一些創(chuàng)新程度高、有重大突破性研究結(jié)果的話題，如何依靠同行評議迅速判斷其學(xué)術(shù)價值？,陶瓷=絕緣體，陶瓷=高溫超導(dǎo)材料！,高溫?zé)岷司圩兂睾司圩?冷核聚變！,（2）單純依靠文獻(xiàn)計量定量評價的缺陷,間接：通過參考文獻(xiàn)和論文被引用的關(guān)聯(lián)分析來判斷論文主體內(nèi)容，或以刊論文，是間接反映學(xué)術(shù)價值。被引用頻次能否反映其學(xué)術(shù)價值？滯后：以論文發(fā)表后的數(shù)量、期刊等級及被引用數(shù)值為根據(jù)進(jìn)行決策，統(tǒng)計上有時滯。偏差：被

4、評論文必須發(fā)表在被統(tǒng)計源收錄的期刊上，忽略了沒有被統(tǒng)計源收錄的論文。期刊影響因子能一定程度地反映期刊的學(xué)術(shù)質(zhì)量水平，能否反映每篇論文質(zhì)量？宏觀：對群體行為的評價意義遠(yuǎn)遠(yuǎn)大于個體，因為引用動機(jī)不同，用引次來說明個體內(nèi)容本質(zhì)差異尚有相當(dāng)誤差。,2 Zhang Xueyong, Tong Yiping, You Guangxia, Hao Chenyang, Ge Hongmei, Wang Lanfen Li Bin, Dong Yus

5、hen and Li Zhensheng . Hitchhiking Effect Mapping: A new approach for discovering agronomic important genes.（選擇牽連效應(yīng)分析：發(fā)掘重要基因的新思路）Agricultural Sciences in China（《中國農(nóng)業(yè)科學(xué)》）2007, 6: 255-264. CNKI被引1次，下載30次。CSCD被引38次。國家973重點(diǎn)項

6、目,10.Zhang Jijun,Ying Jia, Chang Shenghe, Li Bin, Li Zhensheng . Cloning and Expression Analysis of Violaxanthin De-Epoxidase (VDE) cDNA in Wheat. （水稻氮饑餓誘導(dǎo)基因的克隆與表達(dá)分析）Acta Botanica Sinica（《植物學(xué)報》），2003，45: 981-985. CNKI 被引

7、2次，下載120次; WOS 被引3次。CSCD 被引0次，國家973重點(diǎn)項目。,李振聲，中科院遺傳與發(fā)育生物學(xué)研究所研究員，中國科學(xué)院院士、第三世界科學(xué)院院士，小麥育種專家。曾任中國科學(xué)院副院長。曾獲1985年國家科技發(fā)明一等獎、陳嘉庚農(nóng)業(yè)科技獎、何梁何利農(nóng)業(yè)科學(xué)獎和國家最高科學(xué)技術(shù)獎。在遺傳所網(wǎng)站上公布的近期代表性論文12篇。其中：,例如：有些專家其論文發(fā)表的期刊并非國際頂級大刊，其論文的被引頻次、下載次數(shù)等并非在同學(xué)科內(nèi)最高，但

8、其學(xué)術(shù)價值和應(yīng)用價值一流。,1.3 解決問題思路：基于網(wǎng)絡(luò)平臺的群體評議和海量大數(shù)據(jù)支持的學(xué)術(shù)不端檢測機(jī)制，在論文創(chuàng)新點(diǎn)分析和引文動機(jī)分析分析的有力工具輔助下，開發(fā)定性定量相結(jié)合的評價方法，既克服同行評議的偏差，又為文獻(xiàn)計量注入嶄新內(nèi)容，使學(xué)術(shù)文獻(xiàn)評價高效、準(zhǔn)確！,二、2013年國家文化產(chǎn)業(yè)發(fā)展專項資金項目介紹——世界科學(xué)文獻(xiàn)定性評價統(tǒng)計數(shù)據(jù)庫,2.1 基本目標(biāo)： 大數(shù)據(jù)內(nèi)容挖掘技術(shù) + 科學(xué)文獻(xiàn)定性評價標(biāo)準(zhǔn) →（國

9、際首創(chuàng)）一個可以支持客觀公正定性評價我國和世界各國科學(xué)文獻(xiàn)學(xué)術(shù)質(zhì)量與國際影響力的大型數(shù)據(jù)庫 →（全球?qū)W術(shù)界+科研管理界）推廣應(yīng)用 →形成具有我國自主知識產(chǎn)權(quán)和國際權(quán)威性的科學(xué)文獻(xiàn)學(xué)術(shù)評價新體系。,2.2 項目架構(gòu),,引文定性分類下的學(xué)術(shù)文獻(xiàn)計量評價方法,2.3 本年度重點(diǎn)攻關(guān)：引文定性分類下的學(xué)術(shù)文獻(xiàn)計量評價方法 目的：在大數(shù)據(jù)支持下，為同行評議提供定性分類后的引文統(tǒng)計結(jié)果,（1）文獻(xiàn)研究搜集、整理、分析了

10、1962—2014期間國內(nèi)外發(fā)表出版的引證動機(jī)相關(guān)研究文獻(xiàn)共100余篇，從中提取出直接相關(guān)的引證動機(jī)模型26種。（2）文本分析對生物學(xué)、化學(xué)、物理學(xué)、醫(yī)學(xué)等自然科學(xué)和經(jīng)濟(jì)學(xué)、社會學(xué)、文學(xué)、歷史學(xué)等人文社會科學(xué)約1000篇高被引文獻(xiàn)產(chǎn)生的13000多條引文進(jìn)行了文本分析。（3）專家調(diào)查召開兩場專家討論會，向與會的期刊評價專家、文獻(xiàn)計量學(xué)者匯報引證動機(jī)分類的初步研究成果；通過中國老教授協(xié)會向各學(xué)科專家發(fā)放《參考文獻(xiàn)引證的定性分析調(diào)研

11、問卷》。,(1) 向前人表示敬意; (2) 對有關(guān)著作作出評價或給予肯定; (3) 表明使用的方法、儀器設(shè)備等; (4) 提供參考資料;(5) 修改某人自己的著作; (6) 修改他人以前的著作; (7) 批評他人的著作; (8) 為自己的論點(diǎn)尋找證明; (9) 向研究人員通報未來的工作; (10) 提供很少傳播,很少標(biāo)引或未被引用的著者線索; (11) 鑒別數(shù)據(jù)和各類事實(shí)與物理常數(shù); (12) 核

12、查原始出版物中曾描述過的觀點(diǎn)和概念; (13) 核查原始出版物中曾描述過的術(shù)語、時間、人名、地點(diǎn)等;(14) 否定他人的著作或觀點(diǎn);(15) 對他人的優(yōu)先權(quán)限提出質(zhì)疑和異議。,溫斯托克(M.Weinstock) 提出過15種引用動機(jī)：,2.3.1 文獻(xiàn)調(diào)研結(jié)果例舉1,趙彥云，劉思明.中國專利對經(jīng)濟(jì)增長方式影響的實(shí)證研究:1988-2008年. 數(shù)量經(jīng)濟(jì)技術(shù)經(jīng)濟(jì)研究. 2011年第4期,馮宗憲，王青侯，侯曉輝.政府投入、市場化程度與

13、中國工業(yè)企業(yè)的技術(shù)創(chuàng)新效率. 數(shù)量經(jīng)濟(jì)技術(shù)經(jīng)濟(jì)研究. 2011第4期,被引文獻(xiàn)A,被引文獻(xiàn)B,,均被引用26次,2.3.2 文本分析：探究相同引次下的各種引證差異,,,,,,,2.3.3 專家調(diào)研：確定對各類引證動機(jī)定性指標(biāo)的認(rèn)同程度,對象：均為退休教授，長期從事科研、教學(xué)工作。共發(fā)出100份調(diào)查表，一周內(nèi)收到83份有效回復(fù)。統(tǒng)計發(fā)現(xiàn)專家們對于引文目的、引證動機(jī)、引證行為和引證貢獻(xiàn)等看法有很強(qiáng)的一致性，例如：（1）認(rèn)為引用文獻(xiàn)主要基于

14、其研究問題的達(dá)91.6%；（2）認(rèn)為文章因為其創(chuàng)新性而被引用的達(dá)86.8%，因為其實(shí)用性而被引用的達(dá)80.7%；（3）認(rèn)為為提高自己文章的說服力而引用參考文獻(xiàn)的達(dá)80.7%，為表示自己遵守學(xué)術(shù)規(guī)范而引用的達(dá)79.5%；（4）認(rèn)為為采納被引文章內(nèi)容來支持本研究的達(dá)92.8%，為本文提供必要背景的達(dá)86.8%；（5）對文獻(xiàn)正面肯定而引用的占85.5%；因批駁質(zhì)疑而引用的占63.9%；（6）承認(rèn)受參考文獻(xiàn)影響但未改變自己思路的有78

15、.3%，受參考文獻(xiàn)影響而部分改變自己思路的有73.5%,2.4 建立標(biāo)準(zhǔn)體系需考慮的要素：,分析對象不同 ——被引文獻(xiàn)；施引文獻(xiàn)引文貢獻(xiàn)不同 ——實(shí)質(zhì)性作用；非實(shí)質(zhì)性作用等被引文獻(xiàn)類型不同 ——綜述性論文；研究型論文；學(xué)位論文等施引文獻(xiàn)類型不同 ——綜述性論文；研究型論文；學(xué)位論文等分析角度不同，結(jié)論不同

16、 ——學(xué)術(shù)價值；學(xué)術(shù)影響力,2.5 階段研究成果：雙向六維的引文定性分類體系,定義：被引文獻(xiàn)是指施引文獻(xiàn)所引用的被引文獻(xiàn)的內(nèi)容類型，即施引文獻(xiàn)引述的被引文獻(xiàn)的具體內(nèi)容,2.5.1 被引文獻(xiàn)向—被引對象,定義——被引價值是指施引文獻(xiàn)認(rèn)為被引文獻(xiàn)具有何種性質(zhì)的學(xué)術(shù)價值或其他價值。,2.5.2 被引文獻(xiàn)向—被引價值,定義——引證動機(jī)是指施引文獻(xiàn)引用被引文獻(xiàn)的意圖和目的。,2.5.3 施引文獻(xiàn)向—引證動機(jī),定義——引證行為是指施引文獻(xiàn)引用

17、被引文獻(xiàn)的行為表征。,2.5.4 施引文獻(xiàn)向—引證行為,定義——引證態(tài)度是指施引文獻(xiàn)對被引文獻(xiàn)的情感傾向和引述立場。,2.5.5 施引文獻(xiàn)向—引證態(tài)度,2.5.6 施引文獻(xiàn)向—引文貢獻(xiàn),定義——引文貢獻(xiàn)是指施引文獻(xiàn)認(rèn)可的被引文獻(xiàn)對其論文的作用和影響程度。,2.6 項目成果：,《世界科學(xué)文獻(xiàn)定性評價統(tǒng)計數(shù)據(jù)庫》: 已進(jìn)入中期開發(fā)階段。該項目通過構(gòu)建世界范圍的學(xué)術(shù)文獻(xiàn)全文數(shù)據(jù)庫、引文數(shù)據(jù)庫、專家學(xué)者庫及國際同行評議平臺，以引文動機(jī)挖掘、分

18、類與網(wǎng)上同行評議相結(jié)合，建立面向文獻(xiàn)的國際評價體系，并提供科研項目情報跟蹤、學(xué)術(shù)研究方向、學(xué)術(shù)熱點(diǎn)等增值信息服務(wù)。這一項目的實(shí)施，將進(jìn)一步完善我國學(xué)術(shù)期刊的國際影響力評價，并推動我國學(xué)術(shù)期刊的國際國內(nèi)傳播。,根據(jù)用戶需求和管理需求，產(chǎn)生不同的產(chǎn)品，為特定用戶群體提供服務(wù)。包括：（1）宏觀評價產(chǎn)品：對學(xué)科、國家和地區(qū)、機(jī)構(gòu)、期刊的評價。形成《世界學(xué)術(shù)期刊引證報告》、《中國學(xué)術(shù)期刊國際引證報告》、《中國學(xué)術(shù)期刊影響因子年報》、《世界科研機(jī)