基于文本挖掘技術的論文抄襲判定研究.pdf

1、自20世紀90年代學術界提出反對學術腐敗以來，被揭露出來的學術腐敗事件最多的是學術造假，其中又以學術著作和論文的抄襲為最。解決論文抄襲的判定問題不但對于保護知識產(chǎn)權、提高學術論文質量、凈化學術領域、防止學術腐敗都有很重要的意義，而且可以有效的防止一稿多投和減輕審稿人員的工作負擔。 文本挖掘是數(shù)據(jù)挖掘研究面向非結構化和半結構化文本數(shù)據(jù)的自然延伸。人們日常生活和工作中接觸到的信息有大多數(shù)都是以文本形式出現(xiàn)的，文本挖掘是從文本或文本集

2、中發(fā)現(xiàn)和挖掘歸納性的有效、創(chuàng)新、有用和最終可理解的模式、模型、趨勢、規(guī)則等知識的非平凡過程。文本挖掘是利用智能算法，并結合文字處理技術，分析大量的非結構化文本源(如文檔、電子表格、電子郵件、書籍、網(wǎng)頁等)抽取或標記關鍵字概念，文字間的關系，并按照內容對分檔進行分類，獲取有用的知識和信息。 如何將文本挖掘中的主要技術應用于論文抄襲判定中，這是本文的主要研究目的。主要研究成果工作如下： (1)依據(jù)論文抄襲界定的法律，分析歸納

3、了論文抄襲的類型和論文抄襲判定的主要技術，包括數(shù)字指紋技術和詞頻統(tǒng)計技術； (2)探討和研究了文本挖掘中涉及的信息檢索與信息抽取技術以及文本挖掘的主要方法(關聯(lián)分析、文本分類、文本聚類、自動文摘等)； (3)在分析各種文本相似度計算主要方法的基礎上，設計和實現(xiàn)了基于文本分類的文檔相似度計算和基于段落詞頻統(tǒng)計的文檔相似度計算，在實際測試中，效果較好； (4)結合全文相似度計算、段落相似度計算和語句相似度計算的技巧，