基于機器學(xué)習(xí)的生物多樣性中文文檔的信息抽取研究.pdf

1、信息抽取(Information Extraction)的核心在于識別和提取文檔中用戶感興趣的數(shù)據(jù)，并以更為結(jié)構(gòu)化、語義更為清晰的形式表示，為用戶查詢數(shù)據(jù)、應(yīng)用程序利用數(shù)據(jù)提供便利。近年來國內(nèi)外已有多位研究者面向各個領(lǐng)域開展信息抽取研究并獲得一定成效。
　　 介于日益嚴峻的環(huán)境問題對生態(tài)和生物研究提出了更高、更緊迫的要求。本文選用生物多樣性作為研究領(lǐng)域。物種描述是生物學(xué)和生態(tài)學(xué)的起點，相關(guān)文檔應(yīng)為首要進行信息組織和利用的對象。然

2、而分類學(xué)描述通常采用自然語言，內(nèi)容缺乏一致性，難以得到有效地利用。為完善生物學(xué)和生態(tài)學(xué)研究的支持基礎(chǔ)，已有多個機構(gòu)及研究者試圖傳統(tǒng)格式的分類描述文本轉(zhuǎn)化成新的數(shù)字格式(XML或RDF)，試圖為基于語義的信息組織和利用奠定基礎(chǔ)。其中cui等設(shè)計開發(fā)的MARTT系統(tǒng)實現(xiàn)了良好的標(biāo)注效果，其自行構(gòu)建的先導(dǎo)詞算法，在標(biāo)注準確率和召回率上都優(yōu)于其它兩種常用機器學(xué)習(xí)方法，即支持向量機和樸素貝葉斯。
　　 本文通過深入研究MARTT的系統(tǒng)原理

3、，和自建的機器學(xué)習(xí)算法，選用中國植物志中的物種分類學(xué)描述為數(shù)據(jù)集，設(shè)計實現(xiàn)了針對生物多樣性中文文檔的語義標(biāo)注系統(tǒng)。文章主要包含了五個部分的內(nèi)容：
　　 (1)數(shù)據(jù)集的獲取與XML標(biāo)引，本文設(shè)計了植物分類學(xué)描述的XML標(biāo)引結(jié)構(gòu)，并將收集的PDF格式的描述文檔進行格式轉(zhuǎn)換和XML標(biāo)引。
　　 (2)中文分詞軟件的選用，本文通過對比不同中文分詞軟件的分詞效果，選用最合適研究中語詞切分的相關(guān)軟件。
　　 (3)標(biāo)注算法的

4、構(gòu)建。本文設(shè)計實現(xiàn)了適用于中文植物分類學(xué)文檔的機器學(xué)習(xí)算法，用于實現(xiàn)語義標(biāo)注。
　　 (4)對比研究平臺的搭建。本文采用LIBSVM軟件包，運用支持向量機算法對文檔進行了分類測試。
　　 (5)標(biāo)注效果的評估。本文將數(shù)據(jù)集合區(qū)分為訓(xùn)練集合和測試集合，運用從訓(xùn)練集合獲知的標(biāo)注規(guī)則對測試集合進行標(biāo)注。通過標(biāo)注準確率對標(biāo)注結(jié)果進行評估。評估結(jié)果顯示，系統(tǒng)基本完成了對描述文檔主要結(jié)構(gòu)的標(biāo)注，對個別元素的標(biāo)注結(jié)果還有待改善，且總體

5、優(yōu)于SVM文本分類系統(tǒng)所產(chǎn)生的標(biāo)注結(jié)果。
　　 本文將基于機器學(xué)習(xí)的語義標(biāo)注應(yīng)用于植物分類學(xué)文檔是十分有意義的。首先選用《中國植物志》作為數(shù)據(jù)集來源具有較強的現(xiàn)實意義和潛在的應(yīng)用價值，其次語義標(biāo)注為基于語義的信息組織與利用研究的基礎(chǔ)和核心內(nèi)容，語義標(biāo)注工作完成后，能夠在此基礎(chǔ)上開展XML結(jié)構(gòu)化檢索、聯(lián)合搜索等信息創(chuàng)新用法。最后，該項工作對生物學(xué)和生態(tài)學(xué)研究起到一定的支持作用，對于其他領(lǐng)域相關(guān)研究的開展也具有極其現(xiàn)實的借鑒價值。<