數(shù)據(jù)挖掘技術(shù)在軟件知識庫中的應(yīng)用研究.pdf

1、隨著信息化的快速發(fā)展,計算機數(shù)據(jù)庫系統(tǒng)已經(jīng)進(jìn)入社會的各個領(lǐng)域,由此帶來了行業(yè)數(shù)據(jù)的爆炸性增長。面對海量的數(shù)據(jù),使得存儲能力有限的計算機不得不拋棄一些過時的數(shù)據(jù)。然而,這些數(shù)據(jù)里面包含了大量的有價值信息卻無法獲取,面對這一難題,數(shù)據(jù)挖掘技術(shù)應(yīng)運而生,數(shù)據(jù)挖掘技術(shù)一開始就是面向應(yīng)用的,它是一門交叉學(xué)科,融合了數(shù)據(jù)庫、人工智能、機器學(xué)習(xí)、統(tǒng)計學(xué)等多個領(lǐng)域的學(xué)科,基本功能有關(guān)聯(lián)分析、分類分析、聚類分析、例外分析等,與之相關(guān)各種數(shù)據(jù)挖掘工具的應(yīng)用

2、也逐漸成熟。軟件需求的日益增長和開發(fā)技術(shù)的快速更新,軟件系統(tǒng)的規(guī)模和復(fù)雜性急劇增長,其開發(fā)活動和管理難以控制。在軟件工程領(lǐng)域中,傳統(tǒng)的方法和簡單的數(shù)理統(tǒng)計方法難以解決數(shù)據(jù)及信息爆炸式增長所帶來的困擾。因此從程序源代碼、設(shè)計文檔以及收集的相關(guān)軟件數(shù)據(jù)集中發(fā)現(xiàn)有價值的信息并指導(dǎo)軟件工程的開發(fā)和維護顯得尤為重要。所以,一些專家學(xué)者想到利用這些成熟的數(shù)據(jù)挖掘技術(shù)研究軟件工程項目中產(chǎn)生的大量數(shù)據(jù)(通常稱為軟件知識庫),進(jìn)一步發(fā)掘隱藏在軟件數(shù)據(jù)背后

3、的潛在的、有價值的信息。數(shù)據(jù)挖掘技術(shù)已經(jīng)成為軟件工程領(lǐng)域軟件數(shù)據(jù)研究的一個熱點問題,在軟件生命周期中產(chǎn)生許多數(shù)據(jù)(如文檔、程序源代碼文件、Bug報告、軟件版本更新歷史等)中隱藏著許多有價值的信息,利用這些信息可以協(xié)助軟件開發(fā)人員理解系統(tǒng)架構(gòu)、函數(shù)調(diào)用依賴等,幫助維護人員了解當(dāng)前系統(tǒng)中出現(xiàn)的Bug和潛在Bug,進(jìn)一步增加系統(tǒng)的穩(wěn)定性、健壯性和可靠性等。軟件知識庫的挖掘在近幾年發(fā)展尤為迅速,研究人員已經(jīng)提出了許多優(yōu)秀的數(shù)據(jù)挖掘算法應(yīng)用在軟件

4、工程的生命周期的各個階段,并且得到了較好的實驗結(jié)果。本論文的工作主要研究軟件知識庫中的軟件開發(fā)、測試和維護過程中的2類數(shù)據(jù)：軟件修改歷史數(shù)據(jù)(存儲在SVN)和Bug報告數(shù)據(jù)(存儲在Bugzilla),并依此為切入點挖掘兩類數(shù)據(jù)集來協(xié)助開發(fā)人員和維護人員。論文主要由以下幾個部分展開：(1)數(shù)據(jù)挖掘和軟件工程綜述：對數(shù)據(jù)挖掘技術(shù)的由來、經(jīng)典算法及應(yīng)用方向進(jìn)行概述。然后介紹了軟件工程學(xué)。從大型軟件工程項目出發(fā),對龐大的軟件工程知識庫進(jìn)行數(shù)據(jù)挖

5、掘技術(shù)的應(yīng)用。尤其對軟件開發(fā)和維護方面做了闡述,以及將來比較有挑戰(zhàn)性的問題等。(2)軟件知識庫數(shù)據(jù)抽取。目前最常用的版本控制工具是SVN或CVS,在軟件系統(tǒng)的整個生命周期中,它會產(chǎn)生大量的源代碼文件、文檔或交流記錄等演化歷史數(shù)據(jù)。如果沒有足夠的經(jīng)驗,龐大的軟件系統(tǒng)會讓開發(fā)人員和維護人員無從下手。為了方便開發(fā)人員和維護人員我們需要抽取出軟件系統(tǒng)演化歷史數(shù)據(jù)中有價值的信息轉(zhuǎn)化為可挖掘的數(shù)據(jù)集,然后利用數(shù)據(jù)挖掘技術(shù)分析這些數(shù)據(jù),從中找到有意義

6、和價值的知識。我們在這部分主要討論如何建立抽取器(Java-RESC)從SVN版本控制庫中抽取出適合挖掘的XML格式數(shù)據(jù)集。(3)知識庫挖掘在軟件開發(fā)中的應(yīng)用。隨著軟件工程學(xué)發(fā)展,軟件系統(tǒng)越來越龐大,代碼文件呈螺旋狀上升,從而程序中錯綜復(fù)雜的調(diào)用關(guān)系是不可以避免的,軟件開發(fā)的成本不斷增加,同時消耗大量的人力、物力。軟件開發(fā)人員對軟件架構(gòu)不熟悉的話,會嚴(yán)重影響軟件的開發(fā)周期,同時也會影響到軟件系統(tǒng)的質(zhì)量和穩(wěn)定性。軟件開發(fā)過程中往往會出現(xiàn)這

7、樣的情況：添加或修改源代碼的一個文件,通常都需要添加或修改軟件架構(gòu)中關(guān)聯(lián)的源代碼文件,這是因為大型軟件系統(tǒng)的各模塊之間存在相互依賴性,這種依賴關(guān)系很難用傳統(tǒng)的靜態(tài)或動態(tài)分析技術(shù)進(jìn)行檢測。本文通過數(shù)據(jù)挖掘技術(shù)來研究軟件系統(tǒng)各模塊源代碼文件關(guān)聯(lián)依賴,通過了解各模塊之間的調(diào)用相互關(guān)聯(lián)來幫助軟件開發(fā)人員快速理解軟件體系結(jié)構(gòu),并且當(dāng)開發(fā)人員添加、修改或刪除某個文件或源代碼時,我們的方法可以有效的為其提供修改路徑建議。(4)知識庫挖掘在軟件維護中的

8、應(yīng)用。軟件系統(tǒng)維護是軟件生命周期中最重要的一個階段,也是花費時間最長的階段。要使軟件系統(tǒng)能在實際和不斷變化的計算機復(fù)雜環(huán)境中正常運行,維護人員就必須要及時的修正錯誤和不斷完善系統(tǒng),只有這樣才能保證軟件系統(tǒng)的正常運作,軟件維護工作已成為延長軟件生命周期的主要途徑。但是隨著操作系統(tǒng)程序的不斷龐大、硬件和軟件環(huán)境變化越來越頻繁,加之各種項目文檔的缺乏,軟件系統(tǒng)維護變得越來越困難。尤其軟件開發(fā)人員與維護人員不是同一個人的時候,難度是可想而知。為

9、了減輕維護人員了解系統(tǒng)Bug缺陷和防止?jié)撛谌毕菪薷牡确矫娴墓ぷ髁?本文就軟件工程項目開發(fā)過程中的版本控制系統(tǒng)SVN與缺陷跟蹤系統(tǒng)Bugzilla中大量的Bug修復(fù)源代碼更新數(shù)據(jù)和Bug缺陷報告關(guān)聯(lián)分析,力圖通過數(shù)據(jù)挖掘技術(shù)對Bug缺陷報告分類：缺陷變更和潛在缺陷變更。并把潛在缺陷變更列為重點維護對象,及時地動態(tài)發(fā)現(xiàn)引入缺陷的源代碼變更文件歷史版本予以改正,避免系統(tǒng)后期的維護成本的增加。(5)最后對本文所做的工作進(jìn)行總結(jié),包括本文的創(chuàng)新點