上個雙十一IDC圈帶大家看過了阿里的數(shù)據(jù)中心,今年就帶大家看看另一雙十一剁手大戶的IDC——京東商城11.11活動支撐之一的京東云華東數(shù)據(jù)中心。
雖然規(guī)模和銷售額不如阿里天貓,但京東自營的品質與快遞速度一向為人稱道,京東云華東數(shù)據(jù)中心實則也可稱為一款特別的“京東自營”——京東云首個自建數(shù)據(jù)中心。
據(jù)介紹,目前京東云為京東商城做全面的基礎保障,京東商城的底層基礎網(wǎng)絡、安全、CDN、Ipv6等均架設在京東云上。
京東云華東數(shù)據(jù)中心
京東云首個自建數(shù)據(jù)中心——京東云華東數(shù)據(jù)中心位于宿遷,整體由4個模塊和1棟綜合大樓組成,總占地面積將近6萬平方米,總投資30億元。據(jù)京東云介紹,該數(shù)據(jù)中心可以提供30萬臺的服務器安裝和運營能力,存儲能力不小于32EB,計算能力不小于128千萬億次每秒。
停電導致的數(shù)據(jù)中心宕機事件不在少數(shù),就在今年9月某國際云廠商就遭遇了電力故障導致的宕機。對當天破千億元的成交額來說,哪怕僅有1分鐘宕機,損失也是不可估量的。因此,對參與支持11.11活動的數(shù)據(jù)中心來說,負荷用電的高可靠性尤為重要。
京東云華東數(shù)據(jù)中心的電源系統(tǒng)是如何保障的?
服務器冗余電源系統(tǒng)最終都可以歸結到雙電源系統(tǒng)上,如果雙電源服務器的每一路電源都能通過獨立的供電路由從獨立的電源取電,就能夠獲得最高的可靠性。
京東云華東數(shù)據(jù)中心園區(qū)具有專屬的110KV開關站,其上一級來自兩個不同的220KV變電站專線。在110KV開關站內設2臺變壓器,容量滿足整個數(shù)據(jù)中心園區(qū)的最大用電量。當兩臺變壓器任意一臺檢修或發(fā)生故障時,另一臺完全滿足園區(qū)內所有設備的正常用電需求。
數(shù)據(jù)中心機房內所有電子信息設備都采用UPS供電,其中兩個生產(chǎn)機房和兩個網(wǎng)絡機房的供電模式為2N,其余六個生產(chǎn)機房的供電模式則為N+1。輔助設備電源的供電模式為UPS+市電,單臺UPS后備蓄電池支撐時間不小于15分鐘。即使兩路市電電源都發(fā)生故障,機房模塊內負荷會由UPS蓄電池供電,同時備用柴油發(fā)電機組啟動,向機房模塊、空調冷源、照明等負荷供電。
后備柴油發(fā)電系統(tǒng)的油罐儲油量在無外部支援情況下可以滿足發(fā)電機組大于12h帶載連續(xù)運行,并有緊急供油協(xié)議作為后繼可靠保障。任意一套油路系統(tǒng)PLC控制出現(xiàn)故障時,會自動切換至另外一套PLC控制系統(tǒng),又保證了系統(tǒng)供油的可靠性。
11.11最重要的就是網(wǎng)絡傳輸和計算能力,這兩點上,京東云華東數(shù)據(jù)中心表現(xiàn)如何?
首先,京東云華東數(shù)據(jù)中心為第三方數(shù)據(jù)中心,通過自建BGP解決單運營商網(wǎng)絡中斷的問題,三?ISP互為備份,京東云與各ISP直接互聯(lián),緩解運營商大區(qū)間網(wǎng)絡通信異常問題。
京東云自建BGP作為電信運營商與京東云數(shù)據(jù)中心的中間層,以?級運營商的作?,向公有云/私有云/甚?是合作伙伴的數(shù)據(jù)中?提供質量穩(wěn)定可靠互聯(lián)?接?服務。各全國區(qū)域間均采?雙平面設計,雙活并互為備份。在區(qū)域內,各數(shù)據(jù)中心雙上聯(lián)到2個骨?機房,通過骨?機房與各ISP互聯(lián)網(wǎng)、其它區(qū)域骨干網(wǎng)互聯(lián)。并且同區(qū)域的各數(shù)據(jù)中心之間互聯(lián),通過骨干機房的雙星形結構?跳到達,在確保傳輸成本利?率最?的情況下、確保了傳輸延時和質量。
其次在計算能力上,該數(shù)據(jù)中心也已經(jīng)幫助京東云從容支持了多次京東商城618、11.11等大型的線上活動。
京東云已經(jīng)在一定時間內將產(chǎn)品架構整體進行了迭代更新,硬件方面采用2.4GHz、3.2GHz主頻的IntelXeonGold處理器,在此基礎上開發(fā)新一代云主機、云物理機、GPU云主機、GPU云物理機、云硬盤、原生容器、高可用組等。
其中京東云二代云主機所采用最新英特爾®至強®金牌處理器,浮點計算性能提升2倍??梢蕴峁┏髢却嬖浦鳈C,滿足對數(shù)據(jù)交換速度和內存容量有極高要求的大型業(yè)務部署場景。而云主機的邏輯集合,可以形成高可用組,組內主機分散部署在相互隔離的物理資源上,保障業(yè)務運轉不受故障和維護的影響。組內物理資源跨可用區(qū)(AZ)和故障域(FD)分布,支持彈性伸縮。高可用組服務可以保證運行Web服務和數(shù)據(jù)庫的云主機分散在隔離的物理資源上;如果其中一臺物理資源出現(xiàn)故障或維護升級時,其他Web云主機以及數(shù)據(jù)庫云主機不受影響,保證業(yè)務高可用。
京東云原生容器,融合了容器和虛擬機的優(yōu)點,支持原生容器實例和原生容器Pod兩種類型;基于Docker鏡像可直接運行容器實例或原生容器Pod,無需管理集群,或學習容器編排工具即可運行容器。采用獨立內核技術,基于虛擬機的隔離性,避免容器間共享內核的安全隱患;基于SDN技術實現(xiàn)不同租戶間的完全隔離。同時與京東云容器鏡像倉庫無縫集成,加速容器化應用部署。
因為這些技術基礎,京東云面對618、11.11時的突發(fā)流量實現(xiàn)了秒級擴容,平穩(wěn)、安全地度過了數(shù)次訂單洪峰。
京東云華東數(shù)據(jù)中心PUE幾何?
宿遷并非業(yè)內數(shù)據(jù)中心建設熱門選址地區(qū),氣候條件遠不如寒冷地區(qū),那么在節(jié)能降耗上,京東云華東數(shù)據(jù)中心表現(xiàn)如何?
據(jù)介紹,從最初的概念設計到施工建造,一直到投產(chǎn)后的運營管理,綠色環(huán)保技術貫穿于京東云華東數(shù)據(jù)中心整個生命周期,
該數(shù)據(jù)中心位于的江蘇宿遷一年中大部分時間的溫度在-5~35℃之間,年均氣溫14.2℃,相對于嚴寒地區(qū),室外設備被凍結故障的可能性較小,而利用的室外自然冷源的條件又比較充足。為了充分利用冬季室外天然冷源進行自然冷卻,該數(shù)據(jù)中心冷凍水系統(tǒng)設置了板式換熱器,與冷水機組并聯(lián)。實際運行中,冷凍水系統(tǒng)在室外日平均溫度持續(xù)5天以上低于10度時,切換到自然冷卻系統(tǒng)使用,日平均溫度持續(xù)5天以上高于10度時,開始退出。全年基本可以分為免費制冷季和常規(guī)制冷季。
京東云華東數(shù)據(jù)中心在傳統(tǒng)的自然冷卻技術基礎上,增加了一套自主設計的氣候環(huán)境采集控制系統(tǒng),完全實現(xiàn)了制冷系統(tǒng)根據(jù)室內外環(huán)境溫度、濕度、系統(tǒng)負荷大小、平滑連續(xù)的調節(jié)各組件運行狀態(tài),始終保持系統(tǒng)在最佳的效率區(qū)間。
通過上述措施,京東云華東數(shù)據(jù)中心全年可以”免費“使用自然冷源的時間高達180天以上,直接節(jié)約電費數(shù)百萬元以上,實測年均PUE≤1.3。