非相關文獻知識發(fā)現(xiàn)方法及在農(nóng)業(yè)經(jīng)濟學中的應用.pdf

1、科學知識,是人類科學活動的產(chǎn)出品,而科學文獻則是記錄、存貯、傳播科學知識的載體,人類的科學知識一般以科學文獻的數(shù)量計量。普賴斯在他的名著《巴比倫以來的科學》中揭示了科學知識與科學文獻的指數(shù)增長規(guī)律。二戰(zhàn)以來,以指數(shù)方式增長的科學知識和科學文獻其數(shù)量已達到驚人的地步,這種現(xiàn)象被稱為信息爆炸或知識爆炸。以期刊論文為例,2008年國內期刊當年發(fā)表的農(nóng)業(yè)經(jīng)濟學期刊數(shù)量大約是1989年的17倍。在知識爆炸的時代,人類其實被自身創(chuàng)造的科學知識所淹沒

2、。人類科學知識的總量與人類的吸收能力之間的矛盾日益突出,科技工作者只能做選擇性地閱讀。任何一個農(nóng)業(yè)經(jīng)濟學研究人員都無法通讀當年的農(nóng)業(yè)經(jīng)濟學文獻。選擇性地閱讀帶來的后果必然是對知識及知識與知識之間的聯(lián)系的遺漏。即便是全面、完整地閱讀,對隱含在海量文獻之間的知識與知識之間的內在的、隱秘的聯(lián)系僅憑人類個人的智力也很難發(fā)現(xiàn)。
　　 客觀世界是普遍聯(lián)系的世界,在海量的分裂狀知識或科學文獻之間存在著各式各樣的聯(lián)系,這些聯(lián)系有相當一部分僅通過

3、常規(guī)的查詢與閱讀是不能得到的。1986年,美國芝加哥大學的數(shù)學教授Don R.Swanson提出了非相關文獻知識發(fā)現(xiàn)的思想,并以充分的文獻證據(jù)論證了基于非相關文獻的知識發(fā)現(xiàn)思想的可行性與正確性。Swanson的思想在學術界產(chǎn)生了廣泛的影響,非相關文獻知識發(fā)現(xiàn)既涉及知識發(fā)現(xiàn)技術,也涉及具體的學科領域。二十多年來,非相關文獻知識發(fā)現(xiàn)成為計算機、情報學和知識發(fā)現(xiàn)領域學科(如醫(yī)學、生物、工程、管理)的共同研究對象,相關研究論文在各學科的學術期刊

4、均有發(fā)表。各個學科的研究人員包括Swanson本人在以后的二十多年中對非相關文獻知識發(fā)現(xiàn)的理論基礎、算法模型及具體應用進行了持續(xù)地研究,相繼發(fā)現(xiàn)了更多的新知識、新聯(lián)系,其知識發(fā)現(xiàn)應用領域也從單純的醫(yī)學、生物學領域拓展到了航空航天、工程技術乃至人文科學。
　　 農(nóng)業(yè)經(jīng)濟是一門有自己的獨特研究對象、研究方法、研究目的及悠久的歷史與傳統(tǒng)的成熟科學,與其它學科一樣,現(xiàn)時代的農(nóng)業(yè)經(jīng)濟也面臨著專業(yè)細化、方向繁多的問題。農(nóng)業(yè)經(jīng)濟學也無法避免S

5、wanson所謂的知識片斷化與分裂化傾向。即,農(nóng)業(yè)經(jīng)濟學的知識總量與研究人員的吸收能力之間存在著巨大的差距；農(nóng)業(yè)經(jīng)濟學內部的專業(yè)領域劃分越來越細,專業(yè)之間的知識交流變得更加困難；一個專業(yè)領域的信息可能對另一個專業(yè)領域是有價值的,領域與領域之間存在著潛在的未被發(fā)現(xiàn)的關聯(lián)。非相關文獻知識發(fā)現(xiàn)方法及其在農(nóng)業(yè)經(jīng)濟學中的應用研究,就是以Swanson的非相關文獻知識發(fā)現(xiàn)思想為理論基礎,以農(nóng)業(yè)經(jīng)濟學科為學科領域,以國內核心期刊上發(fā)表的農(nóng)業(yè)經(jīng)濟學論文

6、為文獻源,結合中文信息自動化處理的各項技術,研究適合農(nóng)業(yè)經(jīng)濟學的非相關文獻知識發(fā)現(xiàn)理論、算法和應用案例,尋找隱藏在現(xiàn)有文獻間的關聯(lián)概念,并以農(nóng)業(yè)經(jīng)濟理論和方法論證關聯(lián)概念的現(xiàn)實性,驗證新知識的正確性。
　　 本文試圖在兩個方面取得突破。首先,在方法論方面,在分析、總結、比較非相關文獻知識發(fā)現(xiàn)國內外現(xiàn)有研究成果與算法模型的基礎上,本文試圖結合國內期刊論文的特點和農(nóng)業(yè)經(jīng)濟學的實際情況,為農(nóng)業(yè)經(jīng)濟學文獻設計一套邏輯上可行、操作上簡便的

7、知識發(fā)現(xiàn)方法,完整解決文獻集合、詞表體系、分詞方案、算法模型等難點問題；其次,在知識發(fā)現(xiàn)實踐方面,本文試圖依據(jù)Swanson的非相關文獻知識發(fā)現(xiàn)思想,以國內核心期刊上發(fā)表的農(nóng)業(yè)經(jīng)濟學期刊論文為文獻對象,發(fā)現(xiàn)若干對與農(nóng)業(yè)經(jīng)濟有關的關聯(lián)概念,也即發(fā)現(xiàn)新知識。
　　 本文首先在對國內外非相關文獻知識發(fā)現(xiàn)的研究論文進行總結、歸納、分析的基礎上,詳盡地探討了非相關文獻知識發(fā)現(xiàn)思想模式下概念與概念之間的關聯(lián)方式,針對Swanson的非相關文

8、獻知識發(fā)現(xiàn)的A-B-C模式和Gordon的中介文獻思想,分別對應地提出了單一關聯(lián)、單級關聯(lián)、多級關聯(lián)的概念,更進一步地,創(chuàng)建了多重關聯(lián)和復合關聯(lián)模型,給出了多級關聯(lián)、多重關聯(lián)和復合關聯(lián)模式下非相關文獻知識發(fā)現(xiàn)的開放式與閉合式知識發(fā)現(xiàn)過程的路徑圖。并借鑒在自然語言處理領域被廣泛接受的向量空間模型,依據(jù)復合關聯(lián)模式下非相關文獻知識發(fā)現(xiàn)的開放式與閉合式過程路徑圖,設計了復合關聯(lián)模式下非相關文獻知識發(fā)現(xiàn)的算法模型,包括開放式算法模型與閉合式算法

9、模型。
　　 然后,本文創(chuàng)建了農(nóng)業(yè)經(jīng)濟學非相關文獻知識發(fā)現(xiàn)語料庫。首先以軟件手段下載、轉換得到用于非相關文獻知識發(fā)現(xiàn)的農(nóng)業(yè)經(jīng)濟學期刊論文題錄數(shù)據(jù)庫,該數(shù)據(jù)庫包括了1989至2008年的二十年間國內所有核心期刊上發(fā)表的屬于農(nóng)業(yè)經(jīng)濟領域的全部研究論文,共87506篇,并建立了由停用詞、通用詞表、專業(yè)詞表、同義詞表構成的農(nóng)業(yè)經(jīng)濟學非相關文獻知識發(fā)現(xiàn)的詞表體系。其中的專業(yè)詞表是專門為農(nóng)業(yè)經(jīng)濟學非相關文獻知識發(fā)現(xiàn)而創(chuàng)建的,包括與農(nóng)業(yè)經(jīng)濟有

10、關的專業(yè)詞匯96391個,設計并實現(xiàn)了用于文獻集合自動分詞的自適應分詞算法。自適應分詞算法在未登錄詞識別的召回率方面優(yōu)于國內的其它算法,很適合非相關文獻知識發(fā)現(xiàn)對專業(yè)領域的新詞和概念重視程度較高的需求。
　　 接著,本文的研究進入農(nóng)業(yè)經(jīng)濟學非相關文獻知識發(fā)現(xiàn)實踐階段。通過自行編寫的工具軟件,實現(xiàn)了復合關聯(lián)模式下基于向量空間模型的非相關文獻知識發(fā)現(xiàn)算法,并以從維普期刊庫中下載的題錄為知識發(fā)現(xiàn)的文獻集合,利用自行建立的詞表體系,運行

11、和實施了基于國內核心期刊農(nóng)業(yè)經(jīng)濟學期刊論文的非相關文獻知識發(fā)現(xiàn)過程,發(fā)現(xiàn)了世界貿易組織與原教旨主義、馬爾薩斯與生態(tài)學、區(qū)域農(nóng)業(yè)保險費率與地理信息系統(tǒng)三對關聯(lián)概念。最后,遵循農(nóng)業(yè)經(jīng)濟學的理論和邏輯驗證并確認了這三對關聯(lián)概念為農(nóng)業(yè)經(jīng)濟領域的新知識。這些知識在此前從未引起國內農(nóng)業(yè)經(jīng)濟領域研究人員的聯(lián)想,在國內核心期刊公開發(fā)表的農(nóng)業(yè)經(jīng)濟學文獻中都沒有報道,但這些知識隱藏在國內農(nóng)業(yè)經(jīng)濟學期刊論文之間。
　　 本文的創(chuàng)新之處主要體現(xiàn)在以下三

12、個方面:
　　 建立了非相關文獻知識發(fā)現(xiàn)的復合關聯(lián)模式。
　　 復合關聯(lián)的概念與思想,在此前的國內外文獻均未有類似提法。為了導出并描述非相關文獻知識發(fā)現(xiàn)的復合關聯(lián)模式,本文還分別提出了單級關聯(lián)、多級關聯(lián)、單一關聯(lián)、多重關聯(lián)的概念。單級關聯(lián)、單一關聯(lián)和多級關聯(lián)的思想之前已經(jīng)是研究者提出的成熟思想,但概念與提法為本文首次提出。本文將其納入了復合關聯(lián)的框架下并用新概念分別命名了對應的思想和方法。多重關聯(lián)的概念與思想則是本文首次

13、創(chuàng)立,已知文獻中從未涉及。
　　 基于向量空間模型設計了復合關聯(lián)模式下的非相關文獻知識算法模型。
　　 本文基于向量空間模型設計了復合關聯(lián)模式下的非相關文獻知識發(fā)現(xiàn)的算法模型,并對算法效率進行了分析。該算法模型在Swanson及其它學者的論文中均沒有涉及,文獻調研中也沒有發(fā)現(xiàn)相似或相近的算法。該算法模型效率較高,與文獻集合做一次全局分析的時間代價相當。隨后的程序實現(xiàn)和具體的農(nóng)業(yè)經(jīng)濟學非相關文獻知識發(fā)現(xiàn)實踐也驗證了該算法模

14、型的可性行與合理性。該算法模型還充分考慮了漢語文獻與農(nóng)業(yè)經(jīng)濟領域的特殊性,解決了漢語文獻自動分詞以及農(nóng)業(yè)經(jīng)濟領域專業(yè)詞表與同義詞的構建等問題。
　　 發(fā)現(xiàn)了三對隱含在文獻中的關聯(lián)概念,并證明這三對關聯(lián)概念可作為國內農(nóng)業(yè)經(jīng)濟學領域的新知識。
　　 以1989年至2008年的二十年間國內所有核心期刊上發(fā)表的與農(nóng)業(yè)經(jīng)濟領域相關的期刊論文的篇名和摘要為對象,以自行開發(fā)的復合關聯(lián)模式知識發(fā)現(xiàn)軟件為工具,通過開放式和閉合式兩階段非相

15、關文獻知識發(fā)現(xiàn)過程的運行,本文發(fā)現(xiàn)了世界貿易組織與原教旨主義、馬爾薩斯與生態(tài)學、區(qū)域農(nóng)業(yè)保險費率與地理信息系統(tǒng)等概念之間的關聯(lián),并以農(nóng)業(yè)經(jīng)濟學的理論與邏輯驗證了這三對概念之間的關聯(lián)的正確性,成為農(nóng)業(yè)經(jīng)濟領域的新知識。檢索國內文獻,在目前能檢索到的所有國內核心期刊上登載的農(nóng)業(yè)經(jīng)濟學論文中對以上三對概念之間的聯(lián)系從未涉及,相關文獻為零。
　　 通過農(nóng)業(yè)經(jīng)濟學非相關文獻知識發(fā)現(xiàn)研究在方法論和知識發(fā)現(xiàn)實踐兩方面的工作,本文可以得出結論: