亚洲成精品动漫久久精久,九九在线精品视频播放,黄色成人免费观看,三级成人影院,久碰久,四虎成人欧美精品在永久在线

掃一掃
關注微信公眾號

解讀HPC系統數據生命周期中的三種形態
2011-07-05   it168

集群計算以及部門和工作組高性能計算系統大型計算能力的持續增長已經對存儲架構提出了挑戰。輸出數據的傳統存儲方法是通過一個或多個經由存儲區域網絡(SAN)或直連存儲(DAS)連接到存儲的服務器使用網絡文件系統(NAS),傳統的方法已經落后于大部分大型高性能計算安裝基礎對性能和可擴展性不斷增加的需求。高性能并行解決方案的另一種方法可能更加昂貴,并且相對于NFS難于創建并維護。

  因此,很多中等的高性能計算設施正在競爭滿足應用程序的I/O需求。研究計算社區的那些人認識到劃算的,高性能,可擴展性,有彈性和易于管理的集中存儲需求可能是當代的高性能計算設施面臨的最大的挑戰。

  從根本上說,高性能計算依賴計算能力,帶寬和存儲。這些因素互相依賴可能決定高性能計算解決方案的計算和信息容量。為更好的擴展,高性能計算應用程序在組成計算集群的大量的客戶機中分配計算。高性能計算集群能夠從十個延伸到上千個客戶端,聚合的I/O請求從數十到上百GB/s一路排列下來到較小的具有更多適度的I/O性能需求的4節點集群。所高性能計算集群不管大小,共享很多共同的需求。

  隨著CPU核心持續增加,對數據吞吐量的要求不斷增加,需要計算節點訪問GB,甚至TB存儲數據并返回給存儲。無論是計算還是存儲,數據傳輸通常決定了系統的互連設計。使用Gb以太網和InfiniBand已經司空見慣,10Gb以太網正在變得更加便宜,網絡帶寬同樣已經在可用性和速度方面持續增加,而且延遲在不斷減少。

  計算集群和帶寬增加可能需要大量的存儲和/或高性能存儲充分獲得計算和帶寬的潛能。隨著應用程序產生和處理大量數據的增加以及集群中的每個主機需要統一訪問任一后端數據,高性能存儲變得日益關鍵。

  應用程序需求驅動了恰當規模的計算集群(核心數量),網絡帶寬/延遲和存儲之間的相互依賴性。然而這使設計高性能計算系統成為一個挑戰,促使靈活性的增加以便高性能計算系統可以調整以實現高性能并/或減少成本。集群的特點之一是精確的靈活性,提供組合組件創造更加有效的總體系統的可能性。存儲也不是例外,不同的應用程序和工作負載產生不同的需求,可以通過恰當的存儲組件和解決方案的組合解決。高性能計算系統基本的數據時間軸有幾個離散階段。

  1.為高性能計算應用程序生成輸入數據。雖然工作任務的存儲性能需求可能不同,但是存儲的可靠性是必須的。如果丟失了應用程序的輸出,你一般可能通過重新運行應用程序重建丟失的數據。然而,丟失輸入數據可能需要花費大量時間和金錢重建,你甚至可能必須重做整個實驗。

  2.應用程序執行數據I/O以及輸出數據后處理/后分析。應用程序執行時讀取或寫入數據的初始階段關注和應用程序的性能相匹配的I/O性能,以便任務在合理的時限內完成。取決于吞吐量和IOPS需求,可能需要使用高性能的可擴展性存儲系統。本階段的第二部分,應用程序運行后,輸出數據被存儲在一個可靠的存儲系統用于分析。假使I/O需求非常低,數據將被遷移回主存儲。在這種情況下,主存是可靠的存儲區域,通常被備份以防止硬件故障的發生。

  3.歸檔數據。大多數用戶想通過將數據存儲在磁帶,磁盤或者磁帶和磁盤的組合可靠的在線歸檔數據。這樣做,解放了不間斷的應用程序和工程的主存儲,如果應用程序或用戶隨后請求數據,仍然能夠保持數據持續訪問。通常情況下歸檔存儲的容量請求比主存儲請求高更多,但是性能需求更低。

  高性能計算處理的每個階段——創建輸入數據,運行應用程序生成輸出并分析,歸檔結果——都有唯一的需求集合。伴隨著無處不在的成本壓力使單一的解決方案難于實現。

熱詞搜索:

上一篇:四種坑爹的存儲技術不能碰 RAID傷不起!
下一篇:金宏工程 發改委專家庫數據備份

分享到: 收藏