計(jì)算機(jī)專業(yè)外文翻譯----向上向外擴(kuò)展關(guān)于研究nutchlucene的互操作性

1、 Scale-up x Scale-out: A Case Study using Nutch/LuceneMaged Michael, José E. Moreira, Doron Shiloach, Robert W. WisniewskiIBM Thomas J. Watson Research CenterYorktown Heights, NY 10598-0218向上向外擴(kuò)展：關(guān)于研究 向上向外擴(kuò)展：關(guān)于研究Nut

2、ch/Lucene的互操作性 的互操作性摘要 摘要在過去幾年中，多處理系統(tǒng)提高運(yùn)行能力的解決方案一直困擾著主流的商業(yè)計(jì)算。主要的服務(wù)器供應(yīng)商繼續(xù)提供越來(lái)越強(qiáng)悍的機(jī)器，而近期，向外擴(kuò)展的解決方案，規(guī)模較小的機(jī)器集群的形式，更加被商業(yè)計(jì)算所接受。向外擴(kuò)展的解決方案是以網(wǎng)絡(luò)為中心高吞吐量的特別有效的應(yīng)用。在本文中，我們調(diào)查了向上擴(kuò)展和向外擴(kuò)展這兩種相對(duì)的方法在一個(gè)新興的搜索應(yīng)用程序中并行的情況。我們的結(jié)論表明，向外擴(kuò)展的策略即使在向上擴(kuò)展的機(jī)

3、器中依然可以表現(xiàn)良好。此外，向外擴(kuò)展的解決方案提供更好的價(jià)格/性能比，雖然增加了管理的復(fù)雜性。1 簡(jiǎn)介 簡(jiǎn)介在過去10年里的商業(yè)計(jì)算中，我們目睹了計(jì)算機(jī)系統(tǒng)單處理器到多處理器的全面換代。80年代初期引發(fā)的計(jì)算機(jī)行業(yè)的科技革命導(dǎo)致它占領(lǐng)了90年代商業(yè)計(jì)算大部分的市場(chǎng)。我們可以根據(jù)不同的做法，將采用多處理器系統(tǒng)的運(yùn)算（包括商業(yè)和技術(shù)/科學(xué)）分為兩個(gè)大組：·向上擴(kuò)展：大型共享存儲(chǔ)服務(wù)器的部署應(yīng)用（多處理系統(tǒng)） 。·向外擴(kuò)展

4、：多個(gè)小相互服務(wù)器應(yīng)用程序的部署（網(wǎng)絡(luò)集群）。在第一階段的商業(yè)計(jì)算革命中，向上擴(kuò)展的優(yōu)勢(shì)是顯而易見的。多處理系統(tǒng)規(guī)模的增加，處理器時(shí)鐘速率的提高，提供更高的計(jì)算能力來(lái)處理事物的需要，即使是目前最大的公司也面臨這些問題. 對(duì)稱多處理系統(tǒng)是目前的主流商業(yè)計(jì)算。IBM 、惠普和Sun這樣的公司每一代人都投入巨資以建設(shè)更大、更好多處理系統(tǒng)。最近，針對(duì)于商業(yè)計(jì)算的向外擴(kuò)展越來(lái)越被關(guān)注。對(duì)于許多新的以網(wǎng)絡(luò)產(chǎn)品為主的企業(yè)（例如谷歌、雅虎、eBay、亞

5、馬遜），使用向外擴(kuò)展是是解決必要計(jì)算能力唯一的辦法。另外，計(jì)算機(jī)制造商更容易部署基于機(jī)架最佳化和刀片服務(wù)器的向外擴(kuò)展解決方案。向外擴(kuò)展在過去好多年一直是大規(guī)?？茖W(xué)計(jì)算的唯一可行方案，我們可以觀察世界500強(qiáng)系統(tǒng)的發(fā)展。群服務(wù)器相似的能力： 4處理器的配置， 16-32培養(yǎng)基的最大內(nèi)存，內(nèi)置以太網(wǎng)，并擴(kuò)展卡兩種光纖通道，Infiniband的， Myrinet的，或10Gbit/s以太網(wǎng)。同時(shí)還提供有多達(dá)8個(gè)處理器的雙寬葉片配置和額外的內(nèi)

6、存。BladeCenter-H是最新的IBM BladeCenter機(jī)架。與之前的BladeCenter – 1機(jī)架相比，它有14個(gè)刀片插槽的刀片服務(wù)器。它也有多達(dá)兩個(gè)管理單元， 4個(gè)交換機(jī)模塊，四橋模塊和四個(gè)高速交換機(jī)模塊的空間。（在機(jī)架上交換機(jī)模塊3與4和橋梁模塊3與4均共享相同的插槽。）我們?cè)诿總€(gè)機(jī)架配備兩個(gè)1-Gbit/s以太網(wǎng)交換機(jī)模塊和2個(gè)光纖通道交換機(jī)模塊。三種不同葉片中使用了我們的集群：JS21（ PowerPC處理器）

7、，HS21 （英特爾Woodcrest處理器）和LS21（ AMD Opteron處理器）。每一個(gè)刀片（JS21， HS21，或LS21）既有本地磁盤驅(qū)動(dòng)器（73 GB的容量）也有雙光纖通道的網(wǎng)絡(luò)適配器。在光纖通道適配器，兩個(gè)用于連接的刀片光纖通道交換機(jī)，都被插入機(jī)架。大約一半的集群（4底盤）組成JS21刀片。這是四處理器（雙插槽，雙核心）的PowerPC 970片，運(yùn)行在2.5 GHz。每一個(gè)刀片有8GiB的內(nèi)存。在本文中的結(jié)論報(bào)告中

8、，我們著重關(guān)注這些JS21刀片。DS4100存儲(chǔ)子系統(tǒng)包括雙存儲(chǔ)控制器，每一個(gè)都配有2Gb/s的光纖通道接口，并且在主要抽屜中容納了14個(gè)SATA驅(qū)動(dòng)器。盡管每個(gè)DS4100是搭配一個(gè)專門的BladeCenter-H機(jī)架，但由于我們運(yùn)行的光纖通道網(wǎng)絡(luò)，集群中的任何刀片都可以可以查看到存儲(chǔ)系統(tǒng)的每個(gè)邏輯單元。3 Nutch Nutch / Lucene Lucene的工作量 的工作量Nutch / Lucene是一種執(zhí)行搜索應(yīng)用的框架。這

9、是基于非結(jié)構(gòu)化數(shù)據(jù)（網(wǎng)頁(yè)）搜索的應(yīng)用程序日益增多的表現(xiàn)。我們已經(jīng)習(xí)慣了谷歌和雅虎這樣開放互聯(lián)網(wǎng)運(yùn)作的搜索引擎。然而，搜索也是公司局域網(wǎng)、內(nèi)部網(wǎng)絡(luò)的一個(gè)重要的運(yùn)作。Nutch / Lucene完全是基于Java和其代碼的開源性。Nutch / Lucene，作為一個(gè)典型的搜尋工作，有三個(gè)主要部分組成：（1）檢索，（2）索引，和（3）查詢。在本文中，我們列出查詢結(jié)果的組成部分。為了完整性，我們簡(jiǎn)要介紹了其他組成部分。抓取操作是瀏覽和檢索信息

10、的網(wǎng)頁(yè)，然后輸入將要搜索的文本信息。這一套文件在搜索術(shù)語(yǔ)稱為語(yǔ)料庫(kù)。爬行可以同時(shí)在內(nèi)部網(wǎng)絡(luò)（內(nèi)聯(lián)網(wǎng)）以及外部網(wǎng)絡(luò)（因特網(wǎng)）內(nèi)執(zhí)行。檢索，尤其是在互聯(lián)網(wǎng)，是一個(gè)復(fù)雜的工作。無(wú)論是有意還是無(wú)意，總有許多的網(wǎng)站難以檢索到。檢索的性能通常是被檢索系統(tǒng)和被檢索系統(tǒng)之間的網(wǎng)絡(luò)帶寬給制約著。在Nutch / Lucene的搜索框架包含一個(gè)使用MapReduce編程模型的并行索引操作書面。MapReduce提供了一個(gè)方便的方式處理一個(gè)重要的（盡管有限）