面向網(wǎng)絡(luò)數(shù)據(jù)的信息抽取研究與應(yīng)用.pdf

1、隨著因特網(wǎng)的發(fā)展，人類的社會(huì)活動(dòng)開始廣泛使用人工智能技術(shù)，該技術(shù)的應(yīng)用發(fā)展通常需要構(gòu)建不等規(guī)模的知識(shí)庫(kù)來(lái)為其做后臺(tái)數(shù)據(jù)支撐。而知識(shí)庫(kù)的建設(shè)往往需要從海量的半結(jié)構(gòu)化、非結(jié)構(gòu)化網(wǎng)絡(luò)信息中抽取出結(jié)構(gòu)化數(shù)據(jù)。本文研究的重點(diǎn)是面向海量的互聯(lián)網(wǎng)網(wǎng)絡(luò)數(shù)據(jù)做信息抽取，主要包括網(wǎng)頁(yè)數(shù)據(jù)的收集整理、半結(jié)構(gòu)化信息抽取、非結(jié)構(gòu)化信息抽取和資源描述框架三元組構(gòu)建知識(shí)庫(kù)四個(gè)方面內(nèi)容。
　　豆瓣網(wǎng)、大眾點(diǎn)評(píng)網(wǎng)、中文網(wǎng)絡(luò)百科等海量網(wǎng)絡(luò)數(shù)據(jù)中包含了大量半結(jié)構(gòu)化、非

2、結(jié)構(gòu)化數(shù)據(jù)，這些數(shù)據(jù)是信息抽取的很好數(shù)據(jù)源。目前大多數(shù)網(wǎng)站有數(shù)據(jù)反抓取保護(hù)，從以上網(wǎng)站收集數(shù)據(jù)時(shí)遇到封禁IP，很難爬取到該網(wǎng)站全部數(shù)據(jù)的困難;以及由于中文網(wǎng)絡(luò)百科屬性是由無(wú)數(shù)網(wǎng)友人工自定義的，導(dǎo)致了屬性多達(dá)幾千個(gè)，之前的研究者都只是抽取了屬性詞頻較高的少量屬性的知識(shí)，而放棄了對(duì)大多數(shù)屬性知識(shí)的抽取。
　　針對(duì)以上難題，同時(shí)以構(gòu)建結(jié)構(gòu)化知識(shí)庫(kù)為目的，本文完成了以下步驟的工作，并提出了以上困難的解決方案。具體內(nèi)容如下:
　　第一

3、，本文研究了HttpClient代理服務(wù)器使用動(dòng)態(tài)IP下載數(shù)據(jù)的方法。針對(duì)豆瓣網(wǎng)、大眾點(diǎn)評(píng)網(wǎng)、百度百科、互動(dòng)百科下載網(wǎng)頁(yè)源碼時(shí)遇到封禁IP的數(shù)據(jù)保護(hù)問(wèn)題，采用HttpClient代理服務(wù)器開啟多線程并使用多個(gè)免費(fèi)代理IP循環(huán)下載。
　　第二，對(duì)于半結(jié)構(gòu)化數(shù)據(jù)的抽取，研究了一種基于正則表達(dá)式的半自動(dòng)抽取方法。根據(jù)豆瓣、大眾點(diǎn)評(píng)、中文網(wǎng)絡(luò)百科中半結(jié)構(gòu)化數(shù)據(jù)的特點(diǎn)，結(jié)合正則與字符串匹配，提出了一種半自動(dòng)的信息抽取方法。
　　第三，

4、對(duì)于非結(jié)構(gòu)化數(shù)據(jù)的抽取，研究了屬性構(gòu)建的方法。針對(duì)中文網(wǎng)絡(luò)百科非結(jié)構(gòu)化信息抽取中同一種屬性用詞不同，屬性多，且相同屬性與其他百科命名不一致，難以將不同的百科建立統(tǒng)一的知識(shí)庫(kù)問(wèn)題，提出了屬性分層構(gòu)建、屬性統(tǒng)一的方法。
　　第四，使用資源描述框架三元組構(gòu)建知識(shí)庫(kù)。在得到結(jié)構(gòu)化數(shù)據(jù)之后，將這些數(shù)據(jù)整理為統(tǒng)一格式，然后使用資源描述框架三元組的方法將所獲取的不同來(lái)源的結(jié)構(gòu)化數(shù)據(jù)建立各自的知識(shí)庫(kù)。
　　本文以豆瓣網(wǎng)、大眾點(diǎn)評(píng)網(wǎng)、百度百科