大數(shù)據(jù)分布式在線學(xué)習(xí)算法研究及其隱私保護(hù).pdf

1、在當(dāng)今這個(gè)大數(shù)據(jù)的時(shí)代，越來越多的生產(chǎn)和活動(dòng)被數(shù)據(jù)化到網(wǎng)絡(luò)和數(shù)據(jù)庫(kù)上。這些大數(shù)據(jù)記錄了人們生活的方方面面，研究這些數(shù)據(jù)會(huì)發(fā)現(xiàn)許多有價(jià)值的信息。諸如沃爾瑪超市將尿布啤酒放在一起買的例子就不多說了。大數(shù)據(jù)在醫(yī)療和商品推薦方面的應(yīng)用更是具有極大的商業(yè)價(jià)值。在使用大數(shù)據(jù)之前我們需要了解到現(xiàn)今數(shù)據(jù)表現(xiàn)出來的一些特征。由于現(xiàn)今互聯(lián)網(wǎng)的普及，數(shù)據(jù)顯示出分布廣泛、更新快速、高維度和隱私性的特點(diǎn)。為了解決這幾點(diǎn)問題，本文提出了一個(gè)具有隱私保護(hù)的分布式在線

2、學(xué)習(xí)框架來對(duì)這些數(shù)據(jù)進(jìn)行挖掘?qū)W習(xí)。
　　本文假設(shè)在這樣一個(gè)場(chǎng)景下：數(shù)據(jù)的收集與存儲(chǔ)是分布在不同的數(shù)據(jù)中心；由于隱私保護(hù)的原因，不同數(shù)據(jù)庫(kù)是不能進(jìn)行原始樣本數(shù)據(jù)的交換；但是為了充分發(fā)掘數(shù)據(jù)中的價(jià)值，各個(gè)數(shù)據(jù)中心必須協(xié)同合作完成研究。
　　為了解決在上述場(chǎng)景下的數(shù)據(jù)研究，那我們必須賦予每個(gè)節(jié)點(diǎn)（數(shù)據(jù)中心）根據(jù)本地?cái)?shù)據(jù)進(jìn)行獨(dú)立學(xué)習(xí)處理數(shù)據(jù)的能力。節(jié)點(diǎn)之間只能交換計(jì)算中的中間變量。本文首先研究的就是如何在有限交流的情況下是的整體節(jié)點(diǎn)

3、目標(biāo)優(yōu)化函數(shù)收斂大一起。伴隨著數(shù)據(jù)交流必有隱私泄露的風(fēng)險(xiǎn)，因此我們有考慮在分布式計(jì)算引用差分隱私來保護(hù)數(shù)據(jù)的安全。本文主要的貢獻(xiàn)在于理論上數(shù)學(xué)證明的這種分布式計(jì)算的可行性和安全隱私保護(hù)的級(jí)別。并且做了大量的實(shí)驗(yàn)驗(yàn)證理論推導(dǎo)的正確性。最后，本文根據(jù)實(shí)際場(chǎng)景，對(duì)我們的算法提出了兩點(diǎn)拓展應(yīng)用。一是將分布式在線學(xué)習(xí)的計(jì)算結(jié)果可以轉(zhuǎn)化為相應(yīng)的離線算法收斂結(jié)果；二是采用mini-batch的方法增加每次迭代使用的數(shù)據(jù)樣本數(shù)量，加快計(jì)算效率并提升隱私