基于神經(jīng)網(wǎng)絡(luò)語言模型的代碼分析方法研究.pdf

1、深度學習已經(jīng)在人工智能領(lǐng)域中取得了顯著的成就。這得益于其捕捉高維復(fù)雜特征的強大能力，而且并不需要人工特征的干預(yù)。利用深度神經(jīng)網(wǎng)絡(luò)來解決代碼分析問題要比基于統(tǒng)計的方法更為簡單。例如在代碼分類問題中，深度神經(jīng)網(wǎng)絡(luò)能夠自動地抽取出代碼中有用的特征。從局部到高層的抽象過程，特征在每一層能夠被自動地組織起來。基于這些抽象的特征，我們能夠確定一段代碼的類別。深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)并不像傳統(tǒng)的方法需要過多的人工特征。更加自然的特征對于多任務(wù)學習是更有利的。

2、深度學習結(jié)構(gòu)對于其他的代碼分析任務(wù)同樣是有效果的。
　　但是，將深度學習應(yīng)用在代碼分析領(lǐng)域還是存在一些困難。因為梯度彌散的問題，導(dǎo)致傳統(tǒng)的學習算法并不能對網(wǎng)絡(luò)進行有效的訓練。本文借用了深度學習在解決自然語言處理問題中的思想，構(gòu)造可以學習代碼結(jié)構(gòu)的分布式表示的模型，從而將深度學習應(yīng)用于代碼分析領(lǐng)域。
　　本文提出了一條編碼規(guī)則建立抽象語法樹結(jié)點的向量表示，這是將深度學習應(yīng)用于代碼分析問題的基礎(chǔ)。根據(jù)實驗的結(jié)果可以得出，該編碼規(guī)

3、則可以有效地學習到抽象語法樹結(jié)點的向量表示。為了證明深度學習對于代碼分析問題是否真的有效。本文將學習到的特征向量輸入到一個深度神經(jīng)網(wǎng)絡(luò)中，實驗結(jié)果表明較淺層學習方法，深度學習方法取得了更好的效果。
　　本文還提出了另一種通過學習程序控制流圖的的根子圖的向量表示來對代碼進行建模的方法。這是受圖核函數(shù)最近的一些研究成果的啟發(fā)。該模型以無監(jiān)督學習的方式，利用鄰居結(jié)點之間的關(guān)系，來學習它們之間隱藏的相似性。通過實驗證明了模型與支持向量機這