網(wǎng)上信息抽取技術(shù)縱覽

1、網(wǎng)上信息抽取技術(shù)縱覽LineEikvil原著（1999.7）陳鴻標(biāo)譯(2003.3)第一章第一章導(dǎo)論導(dǎo)論信息抽取（信息抽?。↖nfmationExtraction:IE）是把文本里包含的信息進(jìn)行結(jié)構(gòu)化處理，變成表格一樣的組織形）是把文本里包含的信息進(jìn)行結(jié)構(gòu)化處理，變成表格一樣的組織形式。式。輸入信息抽取系統(tǒng)的是原始文本，輸出的是固定格式的信息點(diǎn)。信息點(diǎn)從各種各樣的文檔中被抽取出來，然后以統(tǒng)一的形式集成在一起。這就是信息抽取的主要任務(wù)。信

2、息以統(tǒng)一的形式集成在一起的好處是方便檢查和比較。例如比較不同的招聘和商品信息。還有一個(gè)好處是能對(duì)數(shù)據(jù)作自動(dòng)化處理。例如用數(shù)據(jù)挖掘方法發(fā)現(xiàn)和解釋數(shù)據(jù)模型。信息抽取技術(shù)并不試圖全面理解整篇文檔，只是對(duì)文檔中包含相關(guān)信息的部分進(jìn)行分析。至于哪些信息是相關(guān)的，那將由系統(tǒng)設(shè)計(jì)時(shí)定下的領(lǐng)域范圍而定。信息抽取技術(shù)對(duì)于從大量的文檔中抽取需要的特定事實(shí)來說是非常有用的?；ヂ?lián)網(wǎng)上就存在著這么一個(gè)文檔庫。在網(wǎng)上，同一主題的信息通常分散存放在不同網(wǎng)站上，表現(xiàn)的

3、形式也各不相同。若能將這些信息收集在一起，用結(jié)構(gòu)化形式儲(chǔ)存，那將是有益的。由于網(wǎng)上的信息載體主要是文本，所以，信息抽取技術(shù)對(duì)于那些把因特網(wǎng)當(dāng)成是知識(shí)來源的人來說是至關(guān)重要的。信息抽取系統(tǒng)可以看作是把信息從不同文檔中轉(zhuǎn)換成數(shù)據(jù)庫記錄的系統(tǒng)。因此，成功的信息抽取系統(tǒng)將把互聯(lián)網(wǎng)變成巨大的數(shù)據(jù)庫！信息抽取技術(shù)是近十年來發(fā)展起來的新領(lǐng)域，遇到許多新的挑戰(zhàn)。本文首先在第二章簡要介紹信息抽取技術(shù)，第三章介紹網(wǎng)頁分裝器(wrapper)的開發(fā)，第四章介

4、紹已經(jīng)開發(fā)出來的網(wǎng)站信息抽取系統(tǒng)，第五章介紹信息抽取技術(shù)的應(yīng)用范圍以及首批已經(jīng)進(jìn)入商業(yè)運(yùn)作的商用系年來發(fā)展起來的。有兩個(gè)因素對(duì)其發(fā)展有重要的影響：一是在線和離線文本數(shù)量的幾何級(jí)增加，另一是“消息理解研討會(huì)”（MUC）近十幾年來對(duì)該領(lǐng)域的關(guān)注和推動(dòng)。IE的前身是文本理解的前身是文本理解。人工智能研究者一直致力于建造能把握整篇文檔的精確內(nèi)容的系統(tǒng)。這些系統(tǒng)通常只在很窄的知識(shí)領(lǐng)域范圍內(nèi)運(yùn)行良好，向其他新領(lǐng)域移植的性能卻很差[53]。八十年代以

5、來，美國政府一直支持MUC對(duì)信息抽取技術(shù)進(jìn)行評(píng)測(cè)。各屆MUC吸引了許多來自不同學(xué)術(shù)機(jī)構(gòu)和業(yè)界實(shí)驗(yàn)室的研究者參加信息抽取系統(tǒng)競(jìng)賽。每個(gè)參加單位根據(jù)預(yù)定的知識(shí)領(lǐng)域，開發(fā)一個(gè)信息抽取系統(tǒng)，然后用該系統(tǒng)處理相同的文檔庫。最后用一個(gè)官方的評(píng)分系統(tǒng)對(duì)結(jié)果進(jìn)行打分。研討會(huì)的目的是探求IE系統(tǒng)的量化評(píng)價(jià)體系。在此之前，評(píng)價(jià)這些系統(tǒng)的方法沒有章法可循，測(cè)試也通常在訓(xùn)練集上進(jìn)行。MUC首次進(jìn)行了大規(guī)模的自然語言處理系統(tǒng)的評(píng)測(cè)。如何評(píng)價(jià)信息抽取系統(tǒng)由此變成重

6、要的問題，評(píng)分標(biāo)準(zhǔn)也隨之制定出來。各屆研討會(huì)的測(cè)試主題各式各樣，包括拉丁美洲恐怖主義活動(dòng)、合資企業(yè)、微電子技術(shù)和公司管理層的人事更迭。過去五、六年，IE研究成果豐碩。英語和日語姓名識(shí)別的成功率達(dá)到了人類專家的水平。通過MUC用現(xiàn)有的技術(shù)水平，我們已有能力建造全自動(dòng)的IE系統(tǒng)。在有些任務(wù)方面的性能達(dá)到人類專家的水平[53]。不過自1993年以來，每屆最高組別的有些任務(wù)，其成績一直沒有提高（但要記住MUC的任務(wù)一屆比一屆復(fù)雜）。一個(gè)顯著的進(jìn)

7、步是，越來越多的機(jī)構(gòu)可以完成最高組別的任務(wù)。這要?dú)w公于技術(shù)的普及和整合。目前，建造能達(dá)到如此高水平的系統(tǒng)需要大量的時(shí)間和專業(yè)人員。另外，目前大部分的研究都是圍繞書面文本，而且只有英語和其他幾種主要的語言。第2.3.節(jié)評(píng)價(jià)指標(biāo)在評(píng)價(jià)指標(biāo)在信息抽取技術(shù)的評(píng)測(cè)起先采用經(jīng)典的信息檢索(IR)評(píng)價(jià)指標(biāo)，即回召率(Recall)和查準(zhǔn)率(Precision)，但稍稍改變了其定義。經(jīng)修訂后的評(píng)價(jià)指標(biāo)可以反映IE可能產(chǎn)生的過度概括現(xiàn)象(Overgene