面向移動(dòng)商務(wù)的數(shù)據(jù)挖掘方法及應(yīng)用研究.pdf

1、近年來(lái)，隨著移動(dòng)互聯(lián)網(wǎng)相關(guān)技術(shù)的高速發(fā)展，各種移動(dòng)應(yīng)用和服務(wù)在規(guī)模上呈現(xiàn)出前所未有的增長(zhǎng)態(tài)勢(shì)。種類(lèi)繁多的移動(dòng)應(yīng)用和服務(wù)覆蓋了諸如生活?yuàn)蕵?lè)、在線社交、導(dǎo)航定位等各種功能層面，從而滿(mǎn)足了移動(dòng)用戶(hù)在日常生活中各式各樣的功能需求。與此同時(shí)，這些移動(dòng)應(yīng)用和服務(wù)也產(chǎn)生了海量的用戶(hù)交互記錄與歷史商務(wù)數(shù)據(jù)，為研究者深入探索移動(dòng)商務(wù)環(huán)境下的潛在價(jià)值、開(kāi)發(fā)全新的移動(dòng)商務(wù)應(yīng)用和服務(wù)帶來(lái)了全新的機(jī)遇和挑戰(zhàn)。事實(shí)上，針對(duì)移動(dòng)商務(wù)智能的研究方興未艾，近年來(lái)在國(guó)際學(xué)

2、術(shù)界和產(chǎn)業(yè)界均受到廣泛的重視?；谝陨媳尘?，本文開(kāi)展了針對(duì)移動(dòng)商務(wù)的數(shù)據(jù)挖掘方法的一系列探索性研究。具體地，結(jié)合來(lái)自于智能移動(dòng)應(yīng)用程序（簡(jiǎn)稱(chēng)移動(dòng)App）的新型商務(wù)數(shù)據(jù)，從用戶(hù)理解、應(yīng)用理解、應(yīng)用孵化等三個(gè)層面開(kāi)展了研究工作?；谶@三個(gè)層面，分別提出了情境感知的移動(dòng)用戶(hù)個(gè)性化偏好挖掘方法、基于擴(kuò)展信息的移動(dòng)App分類(lèi)方法、面向移動(dòng)App的排名欺詐檢測(cè)方法、面向移動(dòng)App的流行度建模方法、安全隱私感知的移動(dòng)App推薦方法等探索性工作。具體而

3、言，本文的主要研究貢獻(xiàn)總結(jié)如下:
　　第一，通過(guò)分析來(lái)自于用戶(hù)移動(dòng)設(shè)備的豐富情境日志，提出了一種情境感知的移動(dòng)用戶(hù)個(gè)性化偏好挖掘方法，從而幫助實(shí)現(xiàn)基于情境感知的個(gè)性化移動(dòng)推薦系統(tǒng)。針對(duì)情境日志缺乏顯式評(píng)分、記錄稀疏、特征復(fù)雜等挑戰(zhàn)，設(shè)計(jì)了一種全新的基于多用戶(hù)數(shù)據(jù)的偏好挖掘框架。在此框架下，首先通過(guò)對(duì)多用戶(hù)情境數(shù)據(jù)的分析來(lái)挖掘移動(dòng)用戶(hù)的公共偏好。然后，將單個(gè)用戶(hù)的個(gè)性化偏好表示為這些公共偏好上的概率分布。特別地，根據(jù)情境數(shù)據(jù)建模的需

4、要，提出了兩種不同的情境建模獨(dú)立性假設(shè)，并且分別根據(jù)這兩種假設(shè)設(shè)計(jì)了不同的方法來(lái)挖掘移動(dòng)用戶(hù)的個(gè)性化偏好。具體來(lái)說(shuō)，當(dāng)情境數(shù)據(jù)被認(rèn)為是相互條件獨(dú)立的，采用概率主題模型對(duì)情境數(shù)據(jù)和用戶(hù)行為進(jìn)行建模;如果情境數(shù)據(jù)被認(rèn)為是相互依賴(lài)的，則采用行為模式挖掘算法和貝葉斯非負(fù)矩陣分解的辦法來(lái)進(jìn)行建模。最后，在一個(gè)真實(shí)世界的數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果表明本文提出的方法相對(duì)于其他基準(zhǔn)方法能夠更好地為移動(dòng)用戶(hù)提供基于情境感知的個(gè)性化推薦。
　　第二

5、，通過(guò)擴(kuò)展來(lái)自于Web和情境日志的輔助信息，提出了一種自動(dòng)化的移動(dòng)App分類(lèi)方法，從而實(shí)現(xiàn)移動(dòng)用戶(hù)的行為理解以及移動(dòng)App的管理需求。針對(duì)移動(dòng)App缺乏必要的上下文信息訓(xùn)練分類(lèi)器這一難題，提出了一個(gè)全新的分類(lèi)框架。該框架可以利用外部的輔助信息擴(kuò)充移動(dòng)App本身稀少的上下文信息，從而使得我們能夠?qū)σ苿?dòng)App進(jìn)行有效的分類(lèi)。具體來(lái)說(shuō)，首先利用Web搜索引擎為移動(dòng)App擴(kuò)充必要的文本信息，并且基于此提出了多個(gè)有效的分類(lèi)特征。其次，基于近年來(lái)在

6、情境信息領(lǐng)域的研究成果，提出使用真實(shí)世界的情境日志來(lái)為移動(dòng)App擴(kuò)充上下文信息，并設(shè)計(jì)了多個(gè)有效的基于情境感知的分類(lèi)特征。隨后，將提取的各種特征整合到經(jīng)典的最大熵分類(lèi)模型中來(lái)訓(xùn)練一個(gè)高效的移動(dòng)App分類(lèi)器。最后，在一個(gè)真實(shí)的移動(dòng)App數(shù)據(jù)集上測(cè)試了提出的分類(lèi)方法，實(shí)驗(yàn)結(jié)果表明本文提出的方法相比其它基準(zhǔn)方法能夠更加有效地對(duì)移動(dòng)App進(jìn)行分類(lèi)。
　　第三，通過(guò)研究來(lái)自于在線移動(dòng)App商店的長(zhǎng)期商務(wù)數(shù)據(jù)，提出了一種面向移動(dòng)App的排名欺

7、詐檢測(cè)方法，從而發(fā)現(xiàn)不良App開(kāi)發(fā)商的惡意刷榜行為。具體而言，首先定義了面向移動(dòng)App的排名欺詐問(wèn)題，然后介紹和分析了解決這一問(wèn)題所面臨的諸多技術(shù)挑戰(zhàn)，例如欺詐時(shí)間定位、欺詐自動(dòng)化檢測(cè)、欺詐證據(jù)提取等等。基于上述挑戰(zhàn)，開(kāi)發(fā)了一個(gè)全自動(dòng)化的移動(dòng)App排名欺詐檢測(cè)系統(tǒng)。首先通過(guò)挖掘移動(dòng)App在排行榜上的活躍周期來(lái)定位排名欺詐可能出現(xiàn)的時(shí)間段。然后通過(guò)對(duì)各個(gè)App在歷史中的排名記錄和用戶(hù)評(píng)分、評(píng)論記錄進(jìn)行分析，提取出了三類(lèi)共七種欺詐證據(jù)。進(jìn)一

8、步，提出了一種全新的非監(jiān)督證據(jù)整合方法來(lái)實(shí)現(xiàn)最后的排名欺詐檢測(cè)。最后，使用Apple Appstore中超過(guò)兩年的App排行榜數(shù)據(jù)進(jìn)行實(shí)驗(yàn)，結(jié)果證明本文提出的方法能夠有效地檢測(cè)出移動(dòng)App排名欺詐現(xiàn)象。
　　第四，通過(guò)整合來(lái)自于移動(dòng)App的多種異構(gòu)流行度信息，提出了一種面向移動(dòng)App的流行度建模方法，從而幫助實(shí)現(xiàn)多種移動(dòng)智能服務(wù)。目前基于移動(dòng)App流行度的相關(guān)研究十分離散，主要分散在移動(dòng)推薦系統(tǒng)、移動(dòng)App異常檢測(cè)等領(lǐng)域，缺乏一個(gè)

9、綜合的模型對(duì)相關(guān)信息和問(wèn)題進(jìn)行整合。針對(duì)這一挑戰(zhàn)，提出了一種基于隱馬爾科夫模型的擴(kuò)展模型對(duì)App的排名、用戶(hù)評(píng)分、用戶(hù)評(píng)論等三種重要流行度信息進(jìn)行綜合建模。同時(shí)，提出了一種基于二部圖聚類(lèi)的模型參數(shù)估計(jì)方法，用以實(shí)現(xiàn)高效的模型訓(xùn)練。特別地，基于所提出的模型，展示了多種潛在的移動(dòng)智能服務(wù)，比如基于趨勢(shì)的移動(dòng)App推薦等等。最后，在兩個(gè)采集于Apple Appsotre的數(shù)據(jù)集中進(jìn)行了豐富的實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果清晰地驗(yàn)證了本文所提出建模方法的有效性

10、。
　　最后，通過(guò)挖掘來(lái)自于移動(dòng)App的數(shù)據(jù)訪問(wèn)權(quán)限和流行度信息，提出了一種安全隱私感知的移動(dòng)App推薦方法，從而滿(mǎn)足移動(dòng)用戶(hù)在安全隱私保護(hù)方面的需求，并促進(jìn)移動(dòng)App產(chǎn)業(yè)的健康發(fā)展。事實(shí)上，現(xiàn)有的移動(dòng)App推薦系統(tǒng)僅僅考慮評(píng)分、下載量等流行度信息，而不考慮其潛在的安全隱私風(fēng)險(xiǎn)，因此很難滿(mǎn)足移動(dòng)用戶(hù)對(duì)于安全隱私保護(hù)的需求。針對(duì)這一問(wèn)題，設(shè)計(jì)了一種全新的移動(dòng)App推薦系統(tǒng)，用來(lái)為用戶(hù)推薦既流行又安全的移動(dòng)App。首先，提出了一個(gè)擴(kuò)展

11、性良好的移動(dòng)App安全隱私風(fēng)險(xiǎn)評(píng)估方法，這一方法可以自由整合各種關(guān)于安全隱私風(fēng)險(xiǎn)的先驗(yàn)信息，并且不需要任何的顯式函數(shù)定義。緊接著，根據(jù)經(jīng)濟(jì)學(xué)中的投資組合理論，提出了一種全新的優(yōu)化方法來(lái)實(shí)現(xiàn)移動(dòng)App推薦時(shí)在流行度與用戶(hù)安全偏好上的折中。特別地，進(jìn)一步設(shè)計(jì)了一個(gè)新穎的數(shù)據(jù)存儲(chǔ)結(jié)構(gòu)App哈希樹(shù)，用來(lái)實(shí)現(xiàn)海量移動(dòng)App在不同類(lèi)別和安全級(jí)別下的快速推薦和管理。最后，在一個(gè)采集自Google Play的大規(guī)模數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果充分地驗(yàn)證