Linux 就像是文件系統(tǒng)的瑞士軍刀，它還為桌面系統(tǒng)和服務器提供廣泛的存儲技術(shù)。除了文件系統(tǒng)，Linux 結(jié)合了世界級的 NAS 和 SAN 技術(shù)、數(shù)據(jù)保護、存儲管理、云支持以及固態(tài)存儲。了解有關(guān) Linux 存儲生態(tài)系統(tǒng)的更多信息以及為何它能成為服務器市場霸主。
Linux 意味著許多事情，它的力量在于它能夠靈活地支持截然不同的使用模式。但是 Linux 最重要的優(yōu)勢之一是作為存儲領(lǐng)域的主力。關(guān)于 Linux 和存儲通常讓人想到直接附加存儲或最新的文件系統(tǒng)，但是關(guān)于存儲和 Linux 還有比所看到的多得多的東西。Linux 中的元素不僅穩(wěn)定而且高端。
本文探討了使 Linux 處于存儲領(lǐng)域中心的各種存儲技術(shù)。讓我們從底部開始 — 即存儲架構(gòu) —，然后逐步將堆棧發(fā)展為功能、文件系統(tǒng)和待執(zhí)行計劃(請參考圖 1)。
圖 1. 本文中探索的存儲堆棧
存儲架構(gòu)
存儲如何附加到平臺是整體存儲架構(gòu)的關(guān)鍵。三個常見的架構(gòu)涵蓋了絕大多數(shù)模型：
○直接附加存儲(Direct-attached storage，DAS)
○存儲區(qū)域網(wǎng)絡(Storage area networks，SAN)
○網(wǎng)絡附加存儲(Network-attached storage，NAS)
當然，Linux 支持所有三種模型并通過與這些模型一起發(fā)生的變更而發(fā)展。
圖 2 說明了這些模型，側(cè)重于文件系統(tǒng)和存儲的位置。DAS 模型包含到平臺的直接存儲附件，代表了絕大多數(shù)的存儲使用。SAN 將存儲從平臺中分離出來并使其可通過塊存儲協(xié)議中的一個進行訪問。最后，NAS 提供與 SAN 類似的架構(gòu)，但是在文件級上進行操作。
圖 2. 主要存儲架構(gòu)
直接附加的存儲
Linux 支持種類繁多的 DAS 界面，包括像并行高級技術(shù)附件(Advanced Technology Attachment，ATA)的舊標準 — 電子集成驅(qū)動器 [IDE](Integrated Drive Electronics [IDE])/ATA — 并行 SCSI 和光纖通道 (Fibre Channel) 以及新的存儲界面，例如串行連接的 SCSI(Serial Attached SCSI，SAS)、串行 ATA(Serial ATA，SATA)和外部 SATA(external SATA，eSATA)。您還將發(fā)現(xiàn)高級存儲技術(shù)，例如 USB3(可擴展的主機控制器界面，Extensible Host Controller Interface [xHCI])和 Firewire (Institute of Electrical and Electronics Engineers 1394)。
存儲區(qū)域網(wǎng)絡
SAN 提供塊級存儲合并，以便在一些服務器中共享它。存儲對服務器顯示為是本地的，其中端點存儲設備可以為客戶端設備實現(xiàn)附加服務(例如備份和復制)。
SAN 的協(xié)議和界面是廣泛和多樣的。您可以在 Linux 中發(fā)現(xiàn)典型的 SAN 協(xié)議，例如光纖通道以及其通過 IP 的擴展 (iFCP)。還存在更新的協(xié)議，例如 SAS、以太網(wǎng)光纖通道(Fibre Channel over Ethernet，F(xiàn)CoE)以及 Internet SCSI (iSCSI)，更多域特定協(xié)議，例如適用于遠程直接內(nèi)存訪問 (RDMA-iSER) 和 SCSI RDMA 協(xié)議(SCSI RDMA Protocol，SRP)，其通過 Infiniband 的 RDMA 擴展 SCSI。
作為存儲協(xié)議出現(xiàn)的以太網(wǎng)已經(jīng)在 Linux 中完全實現(xiàn)，其說明了這些方法的力量和靈活性。此外，Linux 中完全支持 10 千兆位以太網(wǎng)(10-gigabit Ethernet，10GbE)，并允許構(gòu)造高性能 SAN。您還可以發(fā)現(xiàn)類似 ATA over Ethernet (ATAoE) 的協(xié)議，其通過無所不在的以太網(wǎng)協(xié)議擴展 ATA 協(xié)議。
網(wǎng)絡附加存儲
最后但同樣重要的是 NAS。NAS 是通過網(wǎng)絡的存儲合并，以便不同類型客戶端在文件級別進行訪問。Linux 中完全支持的兩種最流行協(xié)議是網(wǎng)絡文件系統(tǒng)(Network File System，NFS)和服務器消息塊/通用互聯(lián)網(wǎng)文件系統(tǒng)(Server Message Block/Common Internet File System，SMB/CIFS)。
雖然原始的 SMB 實現(xiàn)是專有的，但是它被逆向設計以便在 Linux 中受到支持。后來的 SMB 修訂版被公開記錄以便允許在 Linux 中進行更簡單的開發(fā)。
Linux 繼續(xù)發(fā)展針對 NFS 的各種增強和擴展。NFS 現(xiàn)在是一個狀態(tài)協(xié)議并包括對數(shù)據(jù)和元數(shù)據(jù)分離的優(yōu)化以及數(shù)據(jù)訪問并行。通過參考資料 中的鏈接可以閱讀有關(guān) NFS 發(fā)展的更多信息。正如基于以太網(wǎng)的 SAN，Linux 中對 10GbE 的支持允許高性能的 NAS 庫。
其他存儲架構(gòu)
不是所有的存儲架構(gòu)都非常適合 DAS、SAN 和 NAS 存儲器。因為 Linux 是開放的，所以更容易在其內(nèi)部開發(fā)新的技術(shù)，這就是為什么您可以在 Linux 中發(fā)現(xiàn)最新尖端技術(shù)的原因。
一個值得一提的存儲架構(gòu)是對象存儲架構(gòu)，盡管不是新功能，但是它很有趣。對象存儲架構(gòu)將文件從其元數(shù)據(jù)中分離出來并獨立存儲它們(在其各自的數(shù)據(jù)和元數(shù)據(jù)服務器上)。此分離提供了一些優(yōu)勢，例如最大程度降低了元數(shù)據(jù)的瓶頸(因為與此服務器交互只需要定位并打開文件)。還可以通過在多個數(shù)據(jù)服務器上分段數(shù)據(jù)進行并行訪問來增強性能。對象存儲在 Linux 內(nèi)以各種方式來實現(xiàn)，包括對對象存儲設備(Object Storage Device，OSD)規(guī)范的支持，以及在 Linux clUSTER (Lustre) 和擴展對象文件系統(tǒng)(Extended Object File System，exofs)內(nèi)以不同方式實現(xiàn)。
存在名為內(nèi)容尋址存儲(content-addressable storage，CAS)的類似技術(shù)，其使用數(shù)據(jù)散列值以便標識其名稱和地址。此技術(shù)還稱為固定內(nèi)容存儲(fixed-content storage，F(xiàn)CS)，是非常有用的，因為其容易識別重復數(shù)據(jù)：該散列之(如果足夠強)將是相同的且允許簡單的重復數(shù)據(jù)刪除。Venti 架構(gòu)支持這種方法并存在于 Linux 內(nèi)(除了貝爾實驗室的 Plan 9 版本之外)。
#p#副標題#e#
存儲服務：邏輯卷管理
雖然存儲虛擬化曾經(jīng)是高端存儲系統(tǒng)的獨特功能，但是現(xiàn)在它是 Linux 的標準功能。Linux 中可用的一個最重要的服務是邏輯卷管理器(Logical Volume Manager，LVM)。LVM 是一個薄層，其位于基礎(chǔ)存儲架構(gòu)中可用的物理存儲之上(附帶用戶空間工具)，并將該存儲提取到一個或多個管理更簡單的邏輯卷中。例如，在物理磁盤不能調(diào)整大小時，可以調(diào)整邏輯卷大小以便從其中添加或刪除空間。
通過將物理設備提取到邏輯設備的能力，LVM 創(chuàng)建了一些其他存儲功能，例如卷的只讀和讀寫快照、跨卷的數(shù)據(jù)分段以便提高性能(獨立磁盤的冗余陣列 [RAID]-0)、跨卷 (RAID-1) 的數(shù)據(jù)鏡像以及在物理設備之間的卷遷移(甚至聯(lián)機時)。
對于鏡像之外的數(shù)據(jù)保護來說，Linux 包括 md(其代表多個磁盤)并提供一系列豐富的 RAID 功能。此元素實現(xiàn)了軟件 RAID 功能，支持 RAID-4(通過校驗塊分段數(shù)據(jù))、RAID-5(通過分布式校驗塊分段數(shù)據(jù))、RAID-6(通過分布式和雙冗余校驗塊分段數(shù)據(jù))以及 RAID-10(分段并鏡像數(shù)據(jù))。
LVM 依賴于另一個名為設備映射器 的存儲組件，其提供(在其他功能中)多路徑功能。例如，在 SAN 環(huán)境中，通常有多個到 SAN 構(gòu)造的存儲界面。多路徑是一種提供保護以避免給定路徑故障的功能，確保只要存在路徑來與端點通信，就仍然可以使用存儲。
存儲功能
在過去幾年中，項存儲堆棧添加了兩個相對簡單的功能，說明了存儲生態(tài)系統(tǒng)的發(fā)展：
○數(shù)據(jù)完整性
○支持固態(tài)磁盤(solid-state disks，SSDs)
數(shù)據(jù)完整性
第一個變更處理在企業(yè)存儲設置中使用商用驅(qū)動器。雖然企業(yè)級驅(qū)動器(如 SAS 驅(qū)動器)是可靠的，但是 SATA 驅(qū)動器是以不同要求以及成本作為主要因素而創(chuàng)建的。由于這個原因，SATA 驅(qū)動器可能遭遇稱為無提示數(shù)據(jù)損壞 的問題，即在從磁盤讀取數(shù)據(jù)時可能引入錯誤且無法檢測到這些錯誤。要在企業(yè)設置中解決此問題并支持 SATA 驅(qū)動器，需將數(shù)據(jù)完整性代碼添加到磁盤上的塊中(其中磁盤使用 520 字節(jié)扇區(qū)，而不是傳統(tǒng)的 512 字節(jié)塊)。此外，驅(qū)動器自身可以驗證正在寫入的數(shù)據(jù)，以便其完整性代碼與數(shù)據(jù)匹配。用這種方式，可以在錯誤被寫入磁盤時捕獲這些錯誤，而不是以后在無法對這些錯誤進行任何操作時檢測到它們。
這種機制被稱為數(shù)據(jù)完整性字段(Data Integrity Field，DIF)，如圖 3 所示，其代表一個在數(shù)據(jù)塊上包括循環(huán)冗余校驗(Cyclic Redundancy Check，CRC)的 8 字節(jié)尾部、一個參考標記(通常是邏輯塊地址(Logical Block Addressing [LBA])的一部分)以及一個應用程序定義的應用程序標記。參考標記對于捕獲對不正確塊的錯誤寫入非常有用，其中應用程序標記可用于捕獲軟件堆棧中的其他錯誤。例如，如果寫入 PDF 文檔，那么應用程序標記可設置為用來指示特殊 PDF 標記的值。在讀取 PDF 時，可以檢查到每一個塊的應用程序標記，以便確保所有標記都指定該 PDF 標記。自從內(nèi)核版本 2.6.27 以來，Linux 內(nèi)支持 DIF。
圖 3. 適用于 512 字節(jié)扇區(qū)的 DIF 結(jié)構(gòu)
對 SSD 的增加支持
SSD 的引入正在以一些方式改變著存儲的生態(tài)系統(tǒng)。這些磁盤刪除了在旋轉(zhuǎn)磁盤中的一些比較大的延時，因此其提供了一種維護與 CPU 之間的數(shù)據(jù)流的方式。但是 SSD 不同于硬盤驅(qū)動器(Hard Disk Drive，HDD)，因為它們是可以消耗掉的。SSD 內(nèi)存儲的編寫次數(shù)是有限的(取決于技術(shù));因此，在編寫數(shù)據(jù)時要盡可能的有效是非常重要的。更糟的是，SSD 必須內(nèi)部切換數(shù)據(jù)以便盡可能減低在稱為垃圾收集 或耗損均衡 的進程中引入錯誤的可能。此進程會導致寫入到可消耗的存儲，因此應盡量減少。
使用 SSD 和傳統(tǒng)存儲的另一個問題是 HDD 不關(guān)心磁盤上的數(shù)據(jù)是否有效。如果文件系統(tǒng)使數(shù)據(jù)無效，則該數(shù)據(jù)可保留在磁盤上且沒有任何不利之處。此限制不能與 SSD 同時存在因為耗損均衡的要求。由于這個原因，Linux 現(xiàn)在支持文件系統(tǒng)將丟棄塊傳遞到 SSD 的功能(自內(nèi)核版本 2.6.29 開始)。此功能允許 SSD 從耗損均衡進程刪除這些塊，并有助于增加驅(qū)動器的耐力。
文件系統(tǒng)
將 Linux 真正與其他操作系統(tǒng)分隔開的是其龐大的文件系統(tǒng)庫。在 Linux 中，您可以發(fā)現(xiàn)像第三擴展文件系統(tǒng)(third extended file system，ext3)和第四擴展文件系統(tǒng)(fourth extended file system，ext4)那樣的傳統(tǒng)客戶端文件系統(tǒng)，但是您還將發(fā)現(xiàn)先進的分布式文件系統(tǒng)、集群文件系統(tǒng)以及并行文件系統(tǒng)。您可以發(fā)現(xiàn)新的、高端的基于新理念的文件系統(tǒng)，以及在存儲域中處理新問題。
今天，在尖端文件系統(tǒng)方面，Linux 支持 ZFS 和 Butter FS (BTRFS)。這兩個文件系統(tǒng)互相競爭并共享即寫即拷語義的區(qū)別(這些塊從來沒有編寫到位)。此外，這兩個文件系統(tǒng)都支持數(shù)據(jù)重復刪除、內(nèi)部數(shù)據(jù)保護(類 RAID 保護)、數(shù)據(jù)和元數(shù)據(jù)校驗和以及其他存儲功能(如快照)。
Linux 也是分布式文件系統(tǒng)的產(chǎn)地。一個示例就是 Lustre，其是支持成千上萬節(jié)點并擴展到千兆兆存儲容量的大規(guī)模并行分布式文件系統(tǒng)。Ceph 提供類似的功能并在去年被引入到 Linux 內(nèi)核。Linux 中的其他的示例包括 GlusterFS 和通用并行文件系統(tǒng)(General Parallel File System，GPFS)。
您還可以在 Linux 中發(fā)現(xiàn)特定的文件系統(tǒng)，包括像新實現(xiàn)日志結(jié)構(gòu)文件系統(tǒng)(New Implementation Log Structure File System，NiLFS(2))那樣的日志結(jié)構(gòu)文件系統(tǒng)和像 exofs 那樣基于對象的文件系統(tǒng)。因為在許多使用模式中 Linux 可發(fā)現(xiàn)其自身，所以您還將發(fā)現(xiàn)資源約束使用(如嵌入式系統(tǒng))以及低延時應用程序(如高性能計算(high-performance computing，HPC))的文件系統(tǒng)。嵌入式領(lǐng)域中的文件系統(tǒng)包括 Yet Another Flash File System 第 2 版 (YAFFS2)、Journaling Flash File System 第 2 版 (JFFS2) 以及未分類塊圖像文件系統(tǒng)(Unsorted Block Image File System，UBIFS)。HPC 空間中的文件系統(tǒng)包括并行 NFS(Parallel NFS，pNFS)、Lustre 以及 GPFS。
Linux 存儲的未來
因為其開放性和大量的開發(fā)人員，Linux 是且將繼續(xù)是文件系統(tǒng)和通用存儲研究的目標。
存儲的最新改變之一是使用遠程服務以便經(jīng)濟有效地存儲歸檔數(shù)據(jù)。今天眾所周知的云存儲，許多供應商都提供高效和透明的遠程訪問，具有不同服務等級協(xié)議(涵蓋像保護和寬帶那樣的功能)的集中存儲。兩個示例包括 Ubuntu One 和 Dropbo。另一個服務被稱為 SpiderOak，可用于將您的本地用戶目錄備份到云中，而只需很少的費用。
還有什么功能可能會出現(xiàn)在 Linux 中?也許是對大扇區(qū)大小的支持(超過 512 字節(jié)扇區(qū))、精簡配置以便避免保留但不使用的容量(其中已公布的存儲超過了物理容量)、存儲重復刪除(以便最大化存儲可用性)以及更有效的存儲堆棧以便利用驅(qū)動器(例如 SSD)的新速度和效率?無論存儲生態(tài)系統(tǒng)如何發(fā)展，Linux 永遠是首當其沖的。
原文：http://www.ibm.com/developerworks/cn/linux/l-linux-storage/index.html?ca=drs-
