大規(guī)模開放式信息抽取系統(tǒng)的設(shè)計與實現(xiàn).pdf

1、互聯(lián)網(wǎng)中存在大量的使用自然語言表達的知識。信息抽取的任務(wù)是將文本的內(nèi)容轉(zhuǎn)換為結(jié)構(gòu)化的知識庫。傳統(tǒng)的信息抽取系統(tǒng)，使用規(guī)則匹配的方法從特定領(lǐng)域、特定的文本中抽取特定的知識。這樣的系統(tǒng)有著許多的局限性，例如要獲取新的知識，需要設(shè)計新的抽取規(guī)則。從互聯(lián)網(wǎng)中抽取有效信息的任務(wù)給已有的信息抽取系統(tǒng)帶來了許多挑戰(zhàn)。因此，設(shè)計并實現(xiàn)一個能夠從開放類別、開放領(lǐng)域的開放式信息抽取系統(tǒng)是有必要的。
　　本文針對大規(guī)模的互聯(lián)網(wǎng)數(shù)據(jù)，設(shè)計并實現(xiàn)了一個開放

2、式的信息抽取系統(tǒng)，來完成信息抽取的命名實體抽取，實體關(guān)系抽取以及實體鏈接的抽取等任務(wù)。系統(tǒng)主要分為三大模塊：（1）任務(wù)管理模塊；（2）信息抽取模塊；（3）信息管理模塊。任務(wù)管理模塊包括數(shù)據(jù)上傳、任務(wù)發(fā)布、任務(wù)啟動和任務(wù)實時監(jiān)控等功能。信息抽取模塊首先從網(wǎng)頁中抽取出有效文本，然后對抽取出的文本進行命名實體、實體關(guān)系和實體鏈接的抽取。信息管理模塊負責信息抽取結(jié)果的持久化和可視化。
　　本文根據(jù)軟件開發(fā)流程，依次從需求分析、系統(tǒng)設(shè)計和系