基于性能監(jiān)測(cè)硬件支持的片上緩存資源管理技術(shù).pdf

1、如何高效利用片上高速緩存是多核處理器研究的一個(gè)重要課題?，F(xiàn)有的片上高速緩存管理機(jī)制是軟件透明的，不能實(shí)時(shí)感知程序數(shù)據(jù)集的局部性特征，以及來(lái)自多個(gè)線(xiàn)程不同的訪(fǎng)存請(qǐng)求。一方面，當(dāng)多個(gè)線(xiàn)程同時(shí)在多核處理器上運(yùn)行時(shí)，現(xiàn)有的緩存管理策略不僅不能保證每個(gè)任務(wù)的運(yùn)行性能，還會(huì)導(dǎo)致共享緩存的多個(gè)任務(wù)之間發(fā)生不可預(yù)測(cè)的緩存競(jìng)爭(zhēng)，形成相互干擾，降低系統(tǒng)的吞吐量。另一方面，由于軟件不能控制緩存空間的分配，僅靠硬件進(jìn)行管理，使得程序?qū)Ω咚倬彺娴睦眯什桓?，?/p>

2、其對(duì)于單線(xiàn)程程序，不能利用多核處理器豐富的片上緩存資源來(lái)獲得性能加速。
　　 針對(duì)以上問(wèn)題，本文研究如何利用硬件性能監(jiān)測(cè)單元來(lái)實(shí)時(shí)監(jiān)測(cè)程序運(yùn)行時(shí)的訪(fǎng)存特征信息，實(shí)現(xiàn)對(duì)多線(xiàn)程運(yùn)行時(shí)的共享緩存競(jìng)爭(zhēng)管理，以及對(duì)單線(xiàn)程程序運(yùn)行時(shí)的緩存空間分配，從而提高多任務(wù)系統(tǒng)的吞吐量和性能穩(wěn)定性，并為單線(xiàn)程程序執(zhí)行提供高效的緩存控制手段。本文的研究?jī)?nèi)容和主要工作成果包括以下幾個(gè)方面:
　　 (1)研究了能夠?qū)崟r(shí)感知程序運(yùn)行時(shí)訪(fǎng)存特征的性能監(jiān)測(cè)

3、機(jī)制，提出了基于性能監(jiān)測(cè)單元而實(shí)現(xiàn)的低代價(jià)訪(fǎng)存性能監(jiān)測(cè)方案LWM。LWM可以為用戶(hù)層提供程序運(yùn)行時(shí)訪(fǎng)存性能信息的功能，以及為緩存管理器提供系統(tǒng)級(jí)的資源使用信息，減少了訪(fǎng)存性能監(jiān)測(cè)的代價(jià)。在實(shí)現(xiàn)過(guò)程中，我們?cè)诿總€(gè)任務(wù)結(jié)構(gòu)體中加入性能事件成員、提供事件配置的系統(tǒng)調(diào)用接口，并且對(duì)計(jì)數(shù)器溢出和上下文切換過(guò)程中出現(xiàn)的錯(cuò)誤計(jì)數(shù)進(jìn)行了處理。此外，我們還優(yōu)化了性能計(jì)數(shù)器的分時(shí)復(fù)用機(jī)制，提高了多事件監(jiān)測(cè)過(guò)程中的事件監(jiān)測(cè)精度以及性能計(jì)數(shù)器的利用率。

4、　　 (2)研究了多個(gè)任務(wù)對(duì)共享緩存資源的競(jìng)爭(zhēng)問(wèn)題，提出了訪(fǎng)存負(fù)載概念并設(shè)計(jì)了訪(fǎng)存負(fù)載平衡調(diào)度算法，提高了多任務(wù)系統(tǒng)吞吐量和程序的性能穩(wěn)定性。本文提出了一種訪(fǎng)存負(fù)載平衡調(diào)度技術(shù)來(lái)解決多任務(wù)共享緩存競(jìng)爭(zhēng)問(wèn)題。訪(fǎng)存負(fù)載平衡調(diào)度算法參照了操作系統(tǒng)計(jì)算負(fù)載平衡調(diào)度算法的設(shè)計(jì)，可以作為操作系統(tǒng)負(fù)載平衡系統(tǒng)的擴(kuò)展。由于本文將訪(fǎng)存負(fù)載平衡調(diào)度實(shí)現(xiàn)為一個(gè)用戶(hù)層的負(fù)載調(diào)度系統(tǒng)，所以不需要對(duì)操作系統(tǒng)內(nèi)核進(jìn)行改動(dòng)。通過(guò)與其它調(diào)度算法進(jìn)行實(shí)驗(yàn)比較后，證明本文

5、提出的訪(fǎng)存負(fù)載平衡調(diào)度算法在程序加權(quán)加速，以及提升系統(tǒng)整體吞吐量方面都有較大改進(jìn)，降低了多任務(wù)對(duì)共享緩存的競(jìng)爭(zhēng)強(qiáng)度，減少了系統(tǒng)整體的片外訪(fǎng)存請(qǐng)求數(shù)量。得益于算法的穩(wěn)定性能，訪(fǎng)存負(fù)載平衡調(diào)度降低了程序多次運(yùn)行之間的性能差異性，可以為操作系統(tǒng)實(shí)現(xiàn)公平可靠的任務(wù)調(diào)度算法提供支持。
　　 (3)研究了單線(xiàn)程程序運(yùn)行于多核處理器平臺(tái)時(shí)的緩存空間利用率不高的問(wèn)題，提出了一種新型緩存控制機(jī)制VSCP，提高了單線(xiàn)程程序的緩存利用率并加速了程序執(zhí)

6、行。本文提出的新型緩存控制方法VSCP可以有效提升單線(xiàn)程程序?qū)Χ嗪颂幚砥髌暇彺婵臻g的利用率，VSCP聯(lián)合了整個(gè)系統(tǒng)上的緩存資源并為程序員提供顯式的緩存控制接口，物理分布的緩存空間被虛擬化成用戶(hù)可控的集中式緩存。與通過(guò)程序并行化來(lái)最大化計(jì)算資源的使用不同，VSCP試圖去最大化緩存資源的利用率。VSCP保持單線(xiàn)程程序一段時(shí)間內(nèi)只使用一個(gè)處理器核的狀態(tài)，減少多核同時(shí)工作的功耗。另外，在片上緩存不能存放一個(gè)程序的所有工作集時(shí)，可以利用VSCP

7、選擇部分具有強(qiáng)局部性的數(shù)據(jù)集駐留緩存以確保這些數(shù)據(jù)不被替換或污染，降低緩存缺失率并最終加速程序。
　　 通過(guò)對(duì)本課題的研究，我們得到了以下重要認(rèn)識(shí):
　　 (1)訪(fǎng)存性能對(duì)于單個(gè)程序以及系統(tǒng)整體性能都非常重要，在“存儲(chǔ)墻”現(xiàn)象日益嚴(yán)重的背景下，對(duì)于提升單個(gè)程序以及系統(tǒng)整體性能來(lái)說(shuō)，降低緩存缺失率比減少執(zhí)行指令數(shù)都要更加有效。
　　 (2)現(xiàn)有的緩存管理策略（包括操作系統(tǒng)任務(wù)調(diào)度和緩存替換策略的實(shí)現(xiàn)）都無(wú)法感知到線(xiàn)

8、程間緩存競(jìng)爭(zhēng)與共享關(guān)系的存在，導(dǎo)致低效的緩存管理。緩存資源管理必須實(shí)現(xiàn)線(xiàn)程感知的策略，否則無(wú)法為系統(tǒng)性能、公平性和服務(wù)質(zhì)量等指標(biāo)提供支持。
　　 (3)解決多核處理器緩存資源管理最終還是需要軟硬件協(xié)同配合才能完成，這需要對(duì)程序運(yùn)行時(shí)和緩存管理器之間的接口進(jìn)行重新設(shè)計(jì)，包括建立更好的性能監(jiān)測(cè)基礎(chǔ)設(shè)施（軟、硬件）以便觀察系統(tǒng)內(nèi)部運(yùn)行時(shí)情況，以及細(xì)粒度的緩存資源分配機(jī)制，這些問(wèn)題的解決需要操作系統(tǒng)設(shè)計(jì)者、硬件架構(gòu)師和程序開(kāi)發(fā)人員的共同