基于LNMP框架的結(jié)構(gòu)化數(shù)據(jù)抽取平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、互聯(lián)網(wǎng)時(shí)代網(wǎng)絡(luò)技術(shù)的飛速發(fā)展為人們提供了豐富的信息和資源，大量網(wǎng)頁(yè)信息都是通過(guò)數(shù)據(jù)庫(kù)查詢(xún)?nèi)缓笫褂媚０鍋?lái)展現(xiàn)在網(wǎng)頁(yè)中，此類(lèi)數(shù)據(jù)便是結(jié)構(gòu)化的數(shù)據(jù)。抽取結(jié)構(gòu)化的數(shù)據(jù)可以為信息整合、垂直搜索等很多領(lǐng)域提供增值的服務(wù)，已經(jīng)有眾多學(xué)者進(jìn)行了相關(guān)研究?；贚NMP框架的結(jié)構(gòu)化數(shù)據(jù)抽取平臺(tái)，致力于為百度產(chǎn)品便捷、快速地獲取全網(wǎng)結(jié)構(gòu)化數(shù)據(jù)，打造從網(wǎng)頁(yè)獲取、解析到結(jié)構(gòu)化數(shù)據(jù)產(chǎn)出的一體化流程，為線上產(chǎn)品和數(shù)據(jù)調(diào)研提供可靠的數(shù)據(jù)支持。與此同時(shí)，通過(guò)平臺(tái)化建設(shè)，

2、降低用戶(hù)進(jìn)行數(shù)據(jù)抽取的的學(xué)習(xí)成本，提高工作效率，為企業(yè)帶來(lái)利潤(rùn)收益。
　　本文所設(shè)計(jì)實(shí)現(xiàn)的結(jié)構(gòu)化數(shù)據(jù)抽取平臺(tái)基于LNMP(Linux操作系統(tǒng)、Nginx服務(wù)器、MySQL數(shù)據(jù)庫(kù)、PHP編程語(yǔ)言)開(kāi)發(fā)，平臺(tái)端框架選擇Yii（基于Php的MVC框架）、Smarty（基于Php的模板引擎）、Bootstrap（基于HTML5和CSS3的前端UI框架）的組合，通過(guò)各種框架的使用，提高了開(kāi)發(fā)效率。前端由模板引擎構(gòu)建，前后分離，耦合度更低，容

3、錯(cuò)率更高。筆者遵循軟件工程的思想，在構(gòu)建結(jié)構(gòu)化數(shù)據(jù)抽取平臺(tái)過(guò)程中，參與完成了結(jié)構(gòu)化數(shù)據(jù)抽取服務(wù)端和抽取平臺(tái)端的需求收集、整理和分析;參與完成了系統(tǒng)功能模塊設(shè)計(jì)、技術(shù)架構(gòu)設(shè)計(jì)和數(shù)據(jù)庫(kù)設(shè)計(jì)。在系統(tǒng)詳細(xì)設(shè)計(jì)與實(shí)現(xiàn)階段，筆者完成了模板管理模塊、任務(wù)管理模塊和數(shù)據(jù)抽取服務(wù)模塊三大功能模塊的設(shè)計(jì)與開(kāi)發(fā)。在測(cè)試階段，筆者參與系統(tǒng)測(cè)試策略的設(shè)計(jì)，獨(dú)立完成了系統(tǒng)相關(guān)模塊的測(cè)試工作。該結(jié)構(gòu)化數(shù)據(jù)抽取平臺(tái)中，模版管理模塊負(fù)責(zé)引導(dǎo)用戶(hù)可視化地構(gòu)造抽取模板，并且