面向質(zhì)量安全的元搜索數(shù)據(jù)采集系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、目前質(zhì)量安全問題頻發(fā),并且隨著互聯(lián)網(wǎng)的普及,質(zhì)量安全問題越來越多的在互聯(lián)網(wǎng)上被大眾討論。人們?cè)诨ヂ?lián)網(wǎng)上發(fā)表的關(guān)于質(zhì)量安全的評(píng)論和互聯(lián)網(wǎng)媒體對(duì)質(zhì)量安全方面的報(bào)道都可以作為質(zhì)量安全分析的文本語料。因此互聯(lián)網(wǎng)可以成為質(zhì)量安全信息獲取的數(shù)據(jù)源,為質(zhì)量安全分析提供了數(shù)據(jù)基礎(chǔ)。
　　本文設(shè)計(jì)與實(shí)現(xiàn)了基于元搜索的數(shù)據(jù)采集系統(tǒng),負(fù)責(zé)采集質(zhì)量安全相關(guān)方面的網(wǎng)頁。本文中,元搜索引擎不再是傳統(tǒng)的使用方式,而是用于根據(jù)用戶設(shè)定的查詢?cè)~來進(jìn)行數(shù)據(jù)采集。系統(tǒng)

2、在功能上主要分為元搜索查詢、網(wǎng)頁抽取、相關(guān)性判定三個(gè)功能塊。在元搜索功能塊中完成了不同元搜索引擎的封裝,同時(shí)對(duì)查詢采用了優(yōu)先級(jí)調(diào)度方式的管理。在網(wǎng)頁抽取功能塊中采用了基于模板解析和基于統(tǒng)計(jì)解析兩種方式:基于模板解析主要負(fù)責(zé)結(jié)果鏈接的抽取、基于統(tǒng)計(jì)的解析則作為通用的正文抽取方法。在相關(guān)性判定功能塊中,采用了支持向量機(jī)的分類算法來篩選質(zhì)量安全相關(guān)數(shù)據(jù),去除噪音信息。本文最后對(duì)網(wǎng)頁抽取效果與分類效果進(jìn)行了測(cè)試,并展示了系統(tǒng)運(yùn)行成果。