移動互聯(lián)網(wǎng)網(wǎng)絡(luò)側(cè)數(shù)據(jù)預(yù)處理技術(shù)的研究和應(yīng)用.pdf

1、移動互聯(lián)網(wǎng)和大數(shù)據(jù)是近些年來學(xué)術(shù)界和工業(yè)界研究的熱點問題，電信運營商在向移動互聯(lián)網(wǎng)用戶提供服務(wù)的同時，產(chǎn)生了海量的移動互聯(lián)網(wǎng)網(wǎng)絡(luò)側(cè)數(shù)據(jù)。如何從這些海量數(shù)據(jù)中快速、準確、高效地提取價值，是電信運營商和學(xué)者們關(guān)注的核心問題。數(shù)據(jù)挖掘是從這些大數(shù)據(jù)提取價值的有效方法，數(shù)據(jù)挖掘的算法和模型已經(jīng)得到了深入的研究和廣泛的應(yīng)用。
　　數(shù)據(jù)預(yù)處理是數(shù)據(jù)挖掘中的重要步驟，它為數(shù)據(jù)挖掘模型提供干凈、規(guī)范、適合的模型輸入，并提升數(shù)據(jù)挖掘模型的性能和效率

2、。然而，在實際數(shù)據(jù)挖掘應(yīng)用中，數(shù)據(jù)的預(yù)處理工作通常在數(shù)據(jù)分析工作中占很大比重的工作量，特別對于時間序列這類復(fù)雜數(shù)據(jù)，預(yù)處理甚至?xí)嫉桨顺梢陨系墓ぷ髁浚芯亢蜆?gòu)建自動化的數(shù)據(jù)預(yù)處理系統(tǒng)是提高工作效率的必要途徑。
　　構(gòu)建自動化的數(shù)據(jù)預(yù)處理系統(tǒng)的難點包括以下三個方面：如何自動選擇預(yù)處理算法和參數(shù)、如何自動化進行預(yù)處理模型的重訓(xùn)練以及如何定量評價數(shù)據(jù)預(yù)處理的效果。其中自動化的預(yù)處理算法組合策略是實現(xiàn)自動化預(yù)處理系統(tǒng)的必要條件，因為實際數(shù)

3、據(jù)預(yù)處理任務(wù)必須過過若干預(yù)處理組件同時完成。本文提出了一種基于啟發(fā)式搜索的自動化算法組合策略。
　　本文的研究內(nèi)容主要分為三個方面，首先，研究和分析了多種數(shù)據(jù)預(yù)處理方法，并構(gòu)建了針對移動互聯(lián)網(wǎng)網(wǎng)絡(luò)側(cè)數(shù)據(jù)的數(shù)據(jù)預(yù)處理系統(tǒng)。其次，針對移動互聯(lián)網(wǎng)網(wǎng)絡(luò)側(cè)數(shù)據(jù)這種時間序列數(shù)據(jù)，本文提出了一種數(shù)據(jù)預(yù)處理流程，能有效針對時間序列數(shù)據(jù)進行預(yù)處理工作。最后，本文提出了一種基于啟發(fā)式搜索的自動化的數(shù)據(jù)預(yù)處理組合策略，能夠在給定的數(shù)據(jù)處理組件集合中選擇