基于Scrapy爬取電商平臺數(shù)據(jù)及自動問答系統(tǒng)的構(gòu)建.pdf

1、隨著大數(shù)據(jù)時代的來臨，互聯(lián)網(wǎng)信息急劇增長，依賴關(guān)鍵字進行搜索的傳統(tǒng)搜索引擎技術(shù)已日益不能滿足用戶快速準確檢索信息的需求。自動問答系統(tǒng)作為信息檢索領域的一種高級形式，已然成為近年來研究的熱點和重點。研究構(gòu)建中文自動問答系統(tǒng)，滿足用戶直接以自然語言提出問題并能快速準確地獲取答案，有著十分重要的意義。
　　本文利用網(wǎng)絡爬蟲技術(shù)，從電商平臺爬取商品數(shù)據(jù)信息，繼而構(gòu)建電商平臺的中文自動問答系統(tǒng)以方便用戶準確獲取相關(guān)商品信息，主要工作如下:<

2、br>　　首先，選用Python語言編寫的開源爬蟲框架Scrapy，研究該框架的搭建和使用，并選取網(wǎng)易考拉海購平臺作為本文研究對象，分析考拉上商品的數(shù)據(jù)結(jié)構(gòu)，最后基于Scrapy框架編寫網(wǎng)絡爬蟲程序并成功爬取考拉所有商品數(shù)據(jù)。
　　其次，構(gòu)建Web項目，并將項目發(fā)布到開源的中間件Tomcat上，這樣用戶只需在瀏覽器中輸入相應的鏈接即可看到考拉商品數(shù)據(jù)的動態(tài)關(guān)系圖譜并直觀的看到商品的各類信息，實現(xiàn)了商品的可視化展示。
　　再次

3、，構(gòu)建考拉商品知識的詞典和詞性庫，實現(xiàn)了結(jié)合正向最大匹配算法和逆向最大匹配算法的分詞算法，自定義了有特色關(guān)鍵詞提取規(guī)則，并實現(xiàn)了相似度計算的編輯距離算法，最終設計實現(xiàn)了一款基于考拉商品知識庫的中文自動問答系統(tǒng)工具KOALAASK。
　　最后，對KOALAASK系統(tǒng)工具進行了一系列功能性的測驗，實驗結(jié)果表明該系統(tǒng)工具具備高性能，反應迅速的特點。實驗中通過統(tǒng)計分析的方法，即對799個不同領域的商品信息進行提問并獲取答案，計算相應準確率