基于云計算平臺的大規(guī)模流形學(xué)習(xí)算法研究.pdf

1、互聯(lián)網(wǎng)技術(shù)的快速發(fā)展,給人們帶來了大量的信息,但也增加了人們從這些數(shù)據(jù)中獲取所需知識的難度。為了解決這一問題,數(shù)據(jù)挖掘技術(shù)得到了快速的發(fā)展,目前數(shù)據(jù)挖掘技術(shù)已被廣泛應(yīng)用于金融、醫(yī)療、互聯(lián)網(wǎng)絡(luò)、政治經(jīng)濟和社會生活等領(lǐng)域。隨著數(shù)據(jù)規(guī)模指數(shù)級的增長,如何在超大規(guī)模的數(shù)據(jù)中進(jìn)行有效的挖掘?為了迎接這一挑戰(zhàn),人們越來越傾向于使用云計算平臺來進(jìn)行超大規(guī)模的數(shù)據(jù)挖掘,如Google、Hadoop等云計算平臺。
　　 Google提出的Map

2、reduce編程模型就是針對海量數(shù)據(jù)的處理。編程人員只需集中注意力在所需解決的并行計算任務(wù)上,而不需要考慮數(shù)據(jù)的分割、任務(wù)的分配、容錯等細(xì)節(jié)問題,極大的提高了編程的效率。
　　 本文提出了根據(jù)L2范數(shù)的位置敏感哈希方法來查找數(shù)據(jù)點的近似k.近鄰,并在此基礎(chǔ)上實現(xiàn)了基于局部線性嵌入的特征提取和基于拉普拉斯特征變換的特征提取算法。在特征提取算法中相似矩陣使用L2范數(shù)的位置敏感哈希計算近似k-近鄰,采用分布式Lanzcos計算拉普拉斯