面向質(zhì)量安全的元搜索數(shù)據(jù)采集系統(tǒng)的設(shè)計與實現(xiàn).pdf

1、目前質(zhì)量安全問題頻發(fā),并且隨著互聯(lián)網(wǎng)的普及,質(zhì)量安全問題越來越多的在互聯(lián)網(wǎng)上被大眾討論。人們在互聯(lián)網(wǎng)上發(fā)表的關(guān)于質(zhì)量安全的評論和互聯(lián)網(wǎng)媒體對質(zhì)量安全方面的報道都可以作為質(zhì)量安全分析的文本語料。因此互聯(lián)網(wǎng)可以成為質(zhì)量安全信息獲取的數(shù)據(jù)源,為質(zhì)量安全分析提供了數(shù)據(jù)基礎(chǔ)。
　　本文設(shè)計與實現(xiàn)了基于元搜索的數(shù)據(jù)采集系統(tǒng),負(fù)責(zé)采集質(zhì)量安全相關(guān)方面的網(wǎng)頁。本文中,元搜索引擎不再是傳統(tǒng)的使用方式,而是用于根據(jù)用戶設(shè)定的查詢詞來進行數(shù)據(jù)采集。系統(tǒng)

2、在功能上主要分為元搜索查詢、網(wǎng)頁抽取、相關(guān)性判定三個功能塊。在元搜索功能塊中完成了不同元搜索引擎的封裝,同時對查詢采用了優(yōu)先級調(diào)度方式的管理。在網(wǎng)頁抽取功能塊中采用了基于模板解析和基于統(tǒng)計解析兩種方式:基于模板解析主要負(fù)責(zé)結(jié)果鏈接的抽取、基于統(tǒng)計的解析則作為通用的正文抽取方法。在相關(guān)性判定功能塊中,采用了支持向量機的分類算法來篩選質(zhì)量安全相關(guān)數(shù)據(jù),去除噪音信息。本文最后對網(wǎng)頁抽取效果與分類效果進行了測試,并展示了系統(tǒng)運行成果。