海量數(shù)據(jù)查詢的優(yōu)化處理及其在用電稽查系統(tǒng)中的應(yīng)用.pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的迅猛發(fā)展，Web應(yīng)用中的數(shù)據(jù)量越來越大，海量數(shù)據(jù)的訪問和處理已成為信息技術(shù)研究的熱點。移動公司的基站普遍存在著用電管理難、盜電嚴重、無法及時檢測基站設(shè)備故障和老化等問題，對移動公司的通信保障和用電開支有著嚴重的影響。移動公司的動力環(huán)境集中監(jiān)控平臺雖然能提供詳實的用電數(shù)據(jù)，但這些數(shù)據(jù)非常雜亂和龐大，不適合進行數(shù)據(jù)統(tǒng)計和分析，從而無法在實際工作中為用電管理提供數(shù)據(jù)支持和決策指導(dǎo)。
　　 本文提出了基于權(quán)重因子的緩存替

2、換算法LFU-W，通過改進的替換算法提高緩存命中率，結(jié)合索引優(yōu)化技術(shù)，達到提升海量數(shù)據(jù)查詢效率的目的。針對移動公司在用電管理過程中存在的問題，詳細闡述了基于海量數(shù)據(jù)查詢的用電稽查系統(tǒng)的設(shè)計方法、實現(xiàn)和優(yōu)化。主要內(nèi)容為:
　　 (1)研究Ebbinghaus遺忘曲線的特點，并將其應(yīng)用到基于時間序列的權(quán)重因子計算公式中，提出改進的基于權(quán)重因子的緩存替換算法LFU-W。根據(jù)用電數(shù)據(jù)查詢的特點，綜合運用索引和緩存技術(shù)，達到提升海量數(shù)據(jù)查

3、詢效率的目的，最大限度的提升系統(tǒng)的響應(yīng)速度;
　　 (2)根據(jù)空調(diào)和開關(guān)電源的用電量，建立單項用電對比模型，通過對比分析找出設(shè)備是否有用電故障或線路老化的問題;
　　 (3)根據(jù)采集用電、理論用電、遠程抄表用電和實際用電，建立總用電對比模型，通過對比分析找出基站是否有人為盜電或人工抄表不準確的問題。
　　 本文采用的基于索引和緩存技術(shù)的優(yōu)化方法能大幅度提升海量數(shù)據(jù)的查詢效率;提出的對比模型能準確而有效的分析出用電