面向網絡數據的信息抽取研究與應用.pdf

1、隨著因特網的發(fā)展，人類的社會活動開始廣泛使用人工智能技術，該技術的應用發(fā)展通常需要構建不等規(guī)模的知識庫來為其做后臺數據支撐。而知識庫的建設往往需要從海量的半結構化、非結構化網絡信息中抽取出結構化數據。本文研究的重點是面向海量的互聯(lián)網網絡數據做信息抽取，主要包括網頁數據的收集整理、半結構化信息抽取、非結構化信息抽取和資源描述框架三元組構建知識庫四個方面內容。
　　豆瓣網、大眾點評網、中文網絡百科等海量網絡數據中包含了大量半結構化、非

2、結構化數據，這些數據是信息抽取的很好數據源。目前大多數網站有數據反抓取保護，從以上網站收集數據時遇到封禁IP，很難爬取到該網站全部數據的困難;以及由于中文網絡百科屬性是由無數網友人工自定義的，導致了屬性多達幾千個，之前的研究者都只是抽取了屬性詞頻較高的少量屬性的知識，而放棄了對大多數屬性知識的抽取。
　　針對以上難題，同時以構建結構化知識庫為目的，本文完成了以下步驟的工作，并提出了以上困難的解決方案。具體內容如下:
　　第一

3、，本文研究了HttpClient代理服務器使用動態(tài)IP下載數據的方法。針對豆瓣網、大眾點評網、百度百科、互動百科下載網頁源碼時遇到封禁IP的數據保護問題，采用HttpClient代理服務器開啟多線程并使用多個免費代理IP循環(huán)下載。
　　第二，對于半結構化數據的抽取，研究了一種基于正則表達式的半自動抽取方法。根據豆瓣、大眾點評、中文網絡百科中半結構化數據的特點，結合正則與字符串匹配，提出了一種半自動的信息抽取方法。
　　第三，

4、對于非結構化數據的抽取，研究了屬性構建的方法。針對中文網絡百科非結構化信息抽取中同一種屬性用詞不同，屬性多，且相同屬性與其他百科命名不一致，難以將不同的百科建立統(tǒng)一的知識庫問題，提出了屬性分層構建、屬性統(tǒng)一的方法。
　　第四，使用資源描述框架三元組構建知識庫。在得到結構化數據之后，將這些數據整理為統(tǒng)一格式，然后使用資源描述框架三元組的方法將所獲取的不同來源的結構化數據建立各自的知識庫。
　　本文以豆瓣網、大眾點評網、百度百科