基于張量的大數據統(tǒng)一表示及降維方法研究.pdf

1、統(tǒng)一表示與降維方法研究是大數據領域的兩個重要課題。然而，目前尚缺乏簡潔有效的模型實現非結構化、半結構化、結構化數據的統(tǒng)一表示。另外，在大數據計算過程中，大量不一致、重復冗余、噪音數據的存在，嚴重影響了大數據處理算法的效率和計算結果的準確性。構建簡潔的數學模型對結構復雜的大數據進行統(tǒng)一表示，設計高效安全的降維算法從低質量原始大數據中提取出高質量核心數據集，對于大數據研究有著巨大的理論和實踐意義。從大數據四大特征（規(guī)模大、類型多樣、速度快、

2、價值密度不均）出發(fā)，研究基于張量的大數據統(tǒng)一表示模型，提出增量式、分布式、安全的大數據降維方法。
　　本研究主要內容包括：⑴提出大數據統(tǒng)一表示模型。傳統(tǒng)的數據處理技術無法對復雜結構類型的數據進行統(tǒng)一表示。針對不同結構類型數據的特點，提出高階張量空間統(tǒng)一表示模型，實現對非結構化數據、半結構化數據、結構化數據的統(tǒng)一表示。針對異構數據特征沖突問題，提出張量空間動態(tài)融合機制，在保持原始數據特征完備性的基礎上，實現異構數據在高階張量空間中的

3、高效表示。另外，面向大數據應用系統(tǒng)的不同需求，提出大數據整合方法，實現異構數據的靈活組織和統(tǒng)一整合。⑵提出大數據增量式降維方法。數據在分析和處理過程中呈現出計算規(guī)模巨大和中間計算結果爆炸性增長兩大特點，從而導致重復計算和效率低下等問題。提出基于張量的大數據增量式降維方法，將新增數據投影到張量模展開矩陣的左奇異向量基空間，并利用投影結果動態(tài)更新正交基向量空間和核心張量。提出并證明核心張量等價定理，解決核心張量沿時間階的增量式更新問題。提出

4、張量遞歸增量式分解算法。實驗結果表明，該算法能夠保證計算準確度、減少中間計算結果、消除重復計算過程、降低計算復雜度，極大提高了大數據降維方法的效率。⑶提出大數據分布式降維方法，實現優(yōu)質核心數據在分布式計算環(huán)境下的高效提取。分布式降維方法包括分布式算法、分布式環(huán)境搭建、張量分塊策略三部分。提出張量分塊模型，基于Lanczos迭代過程，提出分布式張量分解算法，基于異構計算設備構建分布式計算環(huán)境執(zhí)行降維任務，提取高質量核心數據?；谛袎嚎s模式

5、存儲張量分塊以減少計算過程中的數據存儲量。為了更合理地將張量塊分配到計算設備上，提出四目標優(yōu)化方法，對分解過程中的能耗、計算時間、通信量、數據安全級別建模，實現降維過程中張量塊近似最優(yōu)分配。⑷提出大數據安全降維方法?；诎胪瑧B(tài)加密機制 Paillier和全同態(tài)加密機制 BGV提出兩種大數據安全降維方法?；诎胪瑧B(tài)加密機制的安全降維方法由安全雙對角化算法、安全奇異值分解算法、安全模乘算法構成，在客戶端構建密文子張量，在服務器端求得核心張量