SGI和Cloudera簽署了一份協(xié)議，允許SGI銷售預(yù)先安裝了帶有Cloudera Hadoop發(fā)行版及商業(yè)支持的集群。但是該交易最為有趣的部分就是目前看來(lái)該協(xié)議關(guān)注通用的部署而不是高性能計(jì)算部署，而高性能計(jì)算部署恰恰是SGI主要的收入來(lái)源。很明顯的是，HPC用戶更樂意將性能置于社區(qū)之前，如果供應(yīng)商不是為了推舉用于HPC工作負(fù)載的Hadoop替代選擇的話，那么上述協(xié)議將令人感到驚訝。
Timothy Prickett Morgan發(fā)表文章向媒體透露了Cloudera與SGI簽署協(xié)議的消息。他的觀點(diǎn)是“SGI計(jì)劃更多地關(guān)注兜售用于Hadoop集群的Rackable公司高效節(jié)能的機(jī)器，還包括了設(shè)計(jì)用于HPC超級(jí)計(jì)算工作負(fù)載的Altix ICE集群。”考慮到Cloudera已經(jīng)已經(jīng)和Dell簽署了一份非常相似的分銷商合同，而且SGI在產(chǎn)品方面主要的區(qū)分度是其Altix產(chǎn)品線而不是Rackable，因此這個(gè)決定看起來(lái)有些奇怪。而且，正如Timothy Prickett Morgan所解釋的那樣，SGI一直在為某些使用Altix服務(wù)器的大客戶構(gòu)建大規(guī)模的Hadoop集群
然而，上述定制部署實(shí)際上是將SGI置于為數(shù)不多的公司中間，正是這些公司在推動(dòng)針對(duì)HPC的Hadoop應(yīng)用。可能這一趨勢(shì)最好的例子就是微軟，盡管已經(jīng)有了Dryad框架，微軟在上周公布了為Windows服務(wù)器以及Azure提供Hadoop發(fā)行版的計(jì)劃。在3月份，微軟的Madhu Reddy將Dryad描述為“通過(guò)提供一個(gè)高級(jí)的，分布式運(yùn)行時(shí)和關(guān)聯(lián)編程模型使新一類的數(shù)據(jù)密集型應(yīng)用成為了可能。其中，關(guān)聯(lián)編程模型允許各種類型的組織使用集群對(duì)大容量的非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行分析。”
在微軟的Hadoop新聞公布后，Madhu Reddy給我發(fā)送了有關(guān)Dryad更新的郵件，在郵件中他對(duì)Dryad新的名字“L2H(LINQ To HPC)”進(jìn)行了解釋，L2H 的HPC關(guān)注點(diǎn)在于：
因?yàn)長(zhǎng)2H和Windows HPC 服務(wù)器進(jìn)行了集成，針對(duì)HPC場(chǎng)景(也就是需要輸入大量數(shù)據(jù)或者從HPC應(yīng)用輸出大量數(shù)據(jù)，而且必須對(duì)這些數(shù)據(jù)進(jìn)行分析并進(jìn)行可視化)下的大數(shù)據(jù)分析進(jìn)行了優(yōu)化。我們以內(nèi)部部署以及Windows Azure HPC 大數(shù)據(jù)場(chǎng)景為目標(biāo)。
IBM在上周收購(gòu)了Platform Computing，看得出IBM也在采取以non-Hadoop為重點(diǎn)的高性能計(jì)算方法。正如當(dāng)時(shí)我所解釋的那樣，Platform公司在大型銀行的高性能計(jì)算領(lǐng)域很有名，現(xiàn)在該公司正在將這種優(yōu)勢(shì)帶入使用MapReduce管理產(chǎn)品的大型數(shù)據(jù)中。Platform MapReduce能夠同時(shí)支持Hadoop MapReduce和Hadoop分布式文件系統(tǒng)，同時(shí)Platform MapReduce在計(jì)算和存儲(chǔ)層還支持其他的大量框架。如果這些框架比相應(yīng)的Hadoop產(chǎn)品提供了更好的性能，那么很容易相信IBM的HPC用戶將不會(huì)使用Hadoop。
LexisNexis分支HPCC系統(tǒng)可能也有機(jī)會(huì)向?qū)π阅苊舾械挠脩翡N售替代Hadoop的處理系統(tǒng)以及高性能計(jì)算集群。該軟件主要是用于處理大量的數(shù)據(jù)、商業(yè)智能和其他的高級(jí)的客戶，非常適合某類工作負(fù)載。CTO Armando Escalante最近向我解釋了該類工作負(fù)載，真正的挑戰(zhàn)是在比較傳統(tǒng)的Web開發(fā)者之間，將公司的產(chǎn)品定位于作為Hadoop的替代選擇。
推動(dòng)針對(duì)HPC工作負(fù)載的Hadoop替代選擇(或者在SGI的例子中，進(jìn)行定制而不是預(yù)先打包Hadoop構(gòu)建)的意愿很可能源于HPC領(lǐng)域使用專門用于滿足每個(gè)應(yīng)用特定性能需求的工具的歷史。然而，主流用戶對(duì)欣欣向榮的Hadoop社區(qū)表示擔(dān)心，因?yàn)檫@意味著更好的產(chǎn)品以及更加持續(xù)的創(chuàng)新與支持。HPC用戶通常關(guān)心什么運(yùn)行得最好。如果和Hadoop相比，LINQ，HPCC或者任何框架提供了更快，更好的用戶體驗(yàn)，那么或許他們將發(fā)現(xiàn)一個(gè)忠誠(chéng)的用戶團(tuán)隊(duì)，而這個(gè)團(tuán)隊(duì)就潛伏在世界的研究實(shí)驗(yàn)室以及高性能數(shù)據(jù)中心當(dāng)中。
英文原文出處：http://gigaom.com/cloud/the-curious-case-of-hadoop-in-hpc/
原文鏈接：http://cloud.it168.com/a2011/1114/1272/000001272940.shtml
