基于網(wǎng)頁列表的商品信息自動提取關鍵技術研究.pdf

1、電子商務的普及使得利用電子商務進行購物的用戶飛速增長，但隨著網(wǎng)絡上的商品信息越來越多，如何快速有效地從海量的商品信息中選擇出用戶需要的商品成為用戶關心的重要問題?，F(xiàn)有的互聯(lián)網(wǎng)上商品信息大都是半結構化的數(shù)據(jù)，同時不同的網(wǎng)站數(shù)據(jù)的網(wǎng)站結構和提供給用戶的檢索接口都不一樣，因而無法直接給用戶提供的統(tǒng)一的查詢接口，用戶在不同網(wǎng)站檢索相關的信息需要調(diào)用不同的網(wǎng)站的檢索接口。為了能高速的檢索出需要的信息，需要給用戶提供一個統(tǒng)一的檢索接口。為了以統(tǒng)一的

2、結構化數(shù)據(jù)提供給用戶，需要將網(wǎng)絡上的半結構化的數(shù)據(jù)轉化為統(tǒng)一結構的結構化數(shù)據(jù)，然后將結構化的數(shù)據(jù)進行索引，提供統(tǒng)一的檢索接口給用戶。
　　 由于網(wǎng)頁中商品信息大多是以列表的形式展示出來，列表信息所在的區(qū)域就商品信息所在的區(qū)域，列表作為信息載體具有結構一致性的特點，論文針對列表結構一致性提出了一個基于網(wǎng)頁列表結構的全自動信息提取算法和基于機器學習的文本自動歸類算。在信息抽取算法中，首先利用網(wǎng)站的同構性去除網(wǎng)頁中與商品信息無關的部分

3、，無關信息去除主要是通過將網(wǎng)頁轉化為標簽樹的結構，通過樹比較算法，找出不同網(wǎng)頁中相同的信息，剪去無關的信息;然后提出一種頻繁序列挖掘算法找出網(wǎng)頁中結構相同的數(shù)據(jù)記錄，挖掘出商品信息所在的區(qū)域，商品信息的抽取主要是基于PAT樹，通過將網(wǎng)頁的標簽轉化為二進制流挖掘出重復出現(xiàn)的信息區(qū)域，生成信息抽取模板，然后抽取出商品信息，最后提供一個可視化的工具給用戶，讓用戶方便的標記自己感興趣的商品信息，然后將信息提取出并安裝統(tǒng)一的結構存儲數(shù)據(jù)庫中。為了

4、更方便的查找相關信息，利用提取出來的商品的文本信息，有效的挖掘出其中的關聯(lián)規(guī)則，通過將文本信息分成一個個的關鍵字，挖掘出關鍵字和類別之間的關聯(lián)規(guī)則，構造出有效的決策樹，決策樹的構造通過已經(jīng)生成的關聯(lián)規(guī)則來構造，最后利用決策樹對提取出的商品信息進行自動歸類，為用戶提供更加清晰的展現(xiàn)方式。
　　 隨著中國步入老年化，與老年人生活息息相關的商品越來越多，如何直接有效地從海量的商品中選擇出老年人需要的商品并以友好的方式展現(xiàn)給老年人具有很