程序代碼相似度中的代碼轉(zhuǎn)換技術(shù)的研究.pdf

1、程序代碼的分詞轉(zhuǎn)換技術(shù)是實(shí)現(xiàn)程序代碼相似度判別系統(tǒng)的一個(gè)重要技術(shù)，一個(gè)好的分詞轉(zhuǎn)換技術(shù)不僅可以提高相似度判別系統(tǒng)中對(duì)程序進(jìn)行相似度計(jì)算的速度，還可以提高相似度計(jì)算的精度，這對(duì)相似度判別系統(tǒng)的發(fā)展具有重要的現(xiàn)實(shí)意義。 在程序代碼相似度判別系統(tǒng)中，程序代碼的分詞轉(zhuǎn)換技術(shù)得到了廣泛的應(yīng)用。我們可以把一個(gè)程序看作一個(gè)文本串，然后再通過(guò)一定的文法分析將這個(gè)文本串轉(zhuǎn)換成描述程序基本信息的標(biāo)記(token)串。所以對(duì)程序相似性的比較就轉(zhuǎn)變成比

2、較兩個(gè)程序的標(biāo)記串。而比較標(biāo)記串的過(guò)程就是程序代碼的分詞轉(zhuǎn)換的過(guò)程。 本研究首先介紹了關(guān)于程序代碼相似度判別技術(shù)，包括程序代碼相似度判別的定義與分類，國(guó)內(nèi)外研究發(fā)展的現(xiàn)狀以及現(xiàn)有的程序代碼相似度判別系統(tǒng)的相關(guān)介紹。然后對(duì)程序代碼分詞轉(zhuǎn)換過(guò)程中所用到算法情況進(jìn)行了介紹，包括分詞算法，字符串匹配算法等。 本研究設(shè)計(jì)了一個(gè)實(shí)驗(yàn)系統(tǒng)，該實(shí)驗(yàn)系統(tǒng)主要由四部分組成，第一部分，完成實(shí)驗(yàn)系統(tǒng)對(duì)程序代碼的預(yù)處理及分詞功能，預(yù)處理即去掉那些

3、在程序中存在，但對(duì)相似度判別無(wú)影響的信息，如程序中的注釋語(yǔ)句、連續(xù)的空格、空行等，接著對(duì)預(yù)處理后的程序代碼進(jìn)行分詞；第二部分，創(chuàng)建程序代碼轉(zhuǎn)換所需的詞表；第三部分，將程序代碼的預(yù)處理及分詞之后的程序采用字符串匹配算法轉(zhuǎn)換為字符串標(biāo)識(shí)；第四部分是通過(guò)用戶界面可得到源程序代碼轉(zhuǎn)換后的結(jié)果輸出。 最后，通過(guò)一些實(shí)驗(yàn)對(duì)該實(shí)驗(yàn)系統(tǒng)進(jìn)行簡(jiǎn)單的驗(yàn)證與分析。其中實(shí)驗(yàn)的數(shù)據(jù)來(lái)自于學(xué)生所做的程序作業(yè)，實(shí)驗(yàn)結(jié)果反映出該實(shí)驗(yàn)系統(tǒng)不僅可以支持多種程序語(yǔ)言