基于非結構化招聘信息的采集與清洗系統(tǒng).pdf

1、互聯(lián)網(wǎng)的迅猛發(fā)展打破了傳統(tǒng)地域的限制，企業(yè)招聘由線下轉移到了互聯(lián)網(wǎng)上來，涌現(xiàn)了一批大型的在線求職平臺，如智聯(lián)招聘、拉勾網(wǎng)、前程無憂等。但是由于非結構化招聘信息不統(tǒng)一，缺乏一站式采集、提取和清洗方案，求職者難以在雜亂無章的招聘信息中找到合適的信息。對非結構化招聘信息的采集、提取和清洗，形成統(tǒng)一結構化的數(shù)據(jù)集，已成為一個亟需研究的課題。
　　本文是針對IT行業(yè)的非結構化招聘信息，進行數(shù)據(jù)的采集、提取和清洗。其主要安排如下:
　　

2、(1)非結構化數(shù)據(jù)采集:簡單介紹爬蟲技術的發(fā)展以及Scrapy框架爬取數(shù)據(jù)的基本原理，然后利用Scrapy框架采集非結構化招聘信息，并存儲到MongoDB數(shù)據(jù)庫。
　　(2)數(shù)據(jù)提取:利用AC算法對采集完成的非結構化數(shù)據(jù)進行關鍵字的提取，達到將非結構化數(shù)據(jù)轉變成結構化數(shù)據(jù)，并重新存儲到MongoDB數(shù)據(jù)庫。
　　(3)數(shù)據(jù)清洗:首先利用SQL語句對結構化數(shù)據(jù)進行預處理，接著進行清洗。由于現(xiàn)有的基本Skyline算法清洗數(shù)據(jù)效