1. 程式人生 > >【Big Data 每日一題20181116】塊儲存、檔案儲存、物件儲存意義及差異

【Big Data 每日一題20181116】塊儲存、檔案儲存、物件儲存意義及差異

關於塊儲存、檔案儲存、物件儲存方面的知識在知乎上看到了個很好的解答:https://www.zhihu.com/question/21536660

通俗易懂,查了些資料做了詳細的補充。

 塊儲存

    典型裝置:磁碟陣列、硬碟
    塊儲存主要是將裸磁碟空間整個對映給主機使用的。
    就是說例如:磁碟陣列裡面有5塊硬碟,然後可以通過劃邏輯盤、做Raid、或者LVM等方式邏輯劃分出N個邏輯的硬碟。但是邏輯盤和物理盤是兩個完全不同的概念。假設每個硬碟100G,共有5個硬碟,劃分為邏輯盤也為5個,每個100G,但是這5個邏輯盤和原來的5個物理盤意義完全不同了。例如第一個邏輯盤第一個20G可能來自物理盤1,第二個20G來自物理盤2,所以邏輯盤是多個物理盤邏輯虛構出來的硬碟。
    接著塊儲存會採用對映的方式將這幾個邏輯盤對映給主機,主機上面的作業系統會識別到有5塊硬碟,但是作業系統是無法區分到底是物理盤還是邏輯盤,它一概就認為只是5塊裸的物理硬碟而已,跟直接拿一塊物理硬碟掛載到作業系統沒區別,至少作業系統感知上沒有區別的。
    在此方式下,作業系統還需要對掛載的裸硬碟進行分割槽、格式化後,才能使用,與平常主機內建的硬碟無差異。

    優點

    (1)這種方式的好處當然是因為通過了Raid與LVM等手段,對資料提供了保護;
    (2)可以將多塊廉價的硬碟組合起來,稱為一個大容量的邏輯盤對外提供服務,提高了容量;
    (3)寫入資料時,由於是多塊磁碟組合出來的邏輯盤,所以幾塊硬碟可以並行寫入的,提升了讀寫效率;
    (4)很多時候塊儲存採用SAN架構組網,傳輸速度以及封裝協議的原因,使得傳輸速度和讀寫效率得到提升

    缺點

    (1)採用SAN架構組網時,需要額外為主機購買光纖通道卡,還要購買光纖交換機,造價成本高;
    (2)主機之間資料無法共享,在伺服器不做叢集的情況下,塊儲存裸盤對映給主機,在格式化使用後,對於主機來說相當於本地盤,那麼主機A的本地盤根本不能給主機B去使用,無法共享資料
    (3)不利於不同作業系統主機間的資料共享:因為作業系統使用不同的檔案系統,格式化後,不同的檔案系統間的資料是共享不了的。 例如一臺win7,檔案系統是FAT32/NTFS,而linux是EXT4,EXT4是無法識別NTFS的檔案系統的。

 檔案儲存

     典型裝置:FTP、NFS伺服器
    為了克服檔案無法共享的問題,所以有了檔案儲存。
    檔案儲存也有軟硬一體化的裝置,但是其實一臺普通的PC機,只要裝上合適的作業系統和軟體,就可以假設FTP與NFS服務了,架上該類服務之後的伺服器,就是檔案儲存的一種了。
    主機A可以直接對檔案儲存進行檔案的上傳和下載,與塊儲存不同,主機A是不需要再對檔案儲存進行格式化的,因為檔案管理功能已經由檔案儲存自己搞定了。

     優點

     (1)造價低:隨便一臺機器就可以,另外普通的乙太網就可以,根本不需要專用的SAN網路,所以造價低
     (2)方便檔案共享

     缺點

     (1)讀寫速率低,傳輸速率慢:乙太網,上傳下載速度較慢,另外所有讀寫都要1臺伺服器裡面的硬碟來承受,相比起磁碟陣列動不動就十幾上百塊硬碟同時讀寫,速率慢了許多。

 物件儲存

    典型裝置:內建大容量硬碟的分散式伺服器
    物件儲存最常用的方案,就是多臺伺服器內建大容量硬碟,再裝上物件儲存軟體,然後再額外搞幾臺服務作為管理節點,安裝上物件儲存管理軟體。管理節點可以管理其他伺服器對外提供讀寫訪問功能。
    之所以出現物件儲存這種東西,是為了克服塊儲存與檔案儲存各自的缺點,發揚各自的優點。簡單來說塊儲存讀寫快,不利於共享,檔案儲存讀寫慢,利於共享。能否弄一個讀寫塊,利於共享的儲存出來呢?於是就有了物件儲存。
    
    首先,一個檔案包含了屬性(術語:metadata,元資料,例如該檔案的大小、修改時間、儲存路徑等)以及內容(資料)。
    像FAT32這種檔案系統,是直接將一份檔案與metadata一起儲存的,儲存過程先將檔案按照檔案系統的最小塊大小來打散(例如4M的檔案,假設檔案系統要求一個塊4K,那麼就將檔案打散稱為1000個小塊),再寫進硬盤裡,過程中沒有區分資料和metadata的。而每個塊最後會告知你下一個要讀取的塊地址,然後一直這樣順序的按圖索驥,最後完成整份檔案的所有塊的讀取。
    這種情況下讀寫速率很慢,因為就算你有100個機械臂在讀寫,但是由於你只有讀取到第一個塊,才能知道下一個塊在哪裡,其實相當於只能有1個機械臂在實際工作。
    
    而物件儲存則將元資料獨立出來了,控制節點叫元資料伺服器(伺服器+物件儲存管理軟體),裡面主要負責儲存物件的屬性(主要是物件的資料被打散存放到了那幾臺分散式伺服器中的資訊)而其他負責儲存資料的分散式伺服器叫做OSD,主要負責儲存檔案的資料部分。當用戶訪問物件,會先訪問元資料伺服器,元資料伺服器只負責反饋物件儲存在哪裡OSD,假設反饋檔案A儲存在B、C、D三臺OSD,那麼使用者就會再次直接訪問3臺OSD伺服器去讀取資料。
    這時候由於是3臺OSD同時對外傳輸資料,所以傳輸的速度就會加快了,當OSD伺服器數量越多,這種讀寫速度的提升就越大,通過此種方式,實現了讀寫快的目的。
    
    另一方面,物件儲存軟體是有專門的檔案系統的,所以OSD對外又相當於檔案伺服器,那麼就不存在共享方面的困難了,也解決了檔案共享方面的問題
    所以物件儲存的出現,很好的結合了塊儲存和檔案儲存的優點

為什麼物件儲存兼具塊儲存和檔案儲存的好處,還要使用塊儲存和檔案儲存呢?

    (1)有一類應用是需要儲存直接裸盤對映的,例如資料庫。因為資料需要儲存樓盤對映給自己後,再根據自己的資料庫檔案系統來對裸盤進行格式化的,所以是不能夠採用其他已經被格式化為某種檔案系統的儲存的。此類應用更合適使用塊儲存。
    (2)物件儲存的成本比起普通的檔案儲存還要較高,需要購買專門的物件儲存軟體以及大容量硬碟。如果對資料量要求不是海量,只是為了做檔案共享的時候,直接用檔案儲存的形式好了,價效比高。

 下圖簡要的總結了三者之間的差異:

物件儲存檔案系統的關鍵技術是什麼?

    (1)分佈元資料
    (2)併發資料訪問,物件儲存體系結構定義了一個新的、更加智慧化的磁碟介面OSD

什麼是OSD?

儲存區域網(SAN)和網路附加儲存(NAS)是我們比較熟悉的兩種主流網路儲存架構,而物件儲存是一種新的網路儲存架構,基於物件儲存技術的裝置就是物件儲存裝置,簡稱:OSD

在儲存物件中通過什麼物件方式訪問物件?

    在儲存裝置中,所有物件都有一個物件標識,通過物件標識OSD命令訪問物件

OSD的主要功能是什麼?

    (1)資料儲存。OSD管理物件資料,並將它們放置在標準的磁碟系統上,OSD不提供塊介面訪問方式,Client請求資料時用物件ID、偏移進行資料讀寫;
    (2)智慧分佈。OSD用其自身的CPU和記憶體優化資料分佈,並支援資料的預取。由於OSD可以智慧的支援物件的預取,從而可以優化磁碟的效能
    (3)每個物件元資料的管理。OSD管理儲存在其上物件的元資料,該元資料與傳統的inode元資料相似,通常包括物件的資料塊和物件的長度。