2012/12/21

儲存虛擬化是虛擬化成功與否的基石


 關於儲存虛擬化 你不可不知的真相


不是小叮噹也能打造任意門
儲存虛擬化(Storage Virtualization)可以使系統管理員將不同的儲存設備整合成單一儲存資源,跨越單一廠牌儲存設備的限制,將所有儲存資源的配置及管理的工作,透過更有效、更彈性的調配與應用,能夠提高資料中心的儲存利用率,進而降低儲存設備投資的費用。
也就是說,儲存虛擬化最大的好處就是可以協助IT部門整併企業環境中所有的儲存資源,透過儲存虛擬化軟、硬體設備整合所有儲存資源,組成單一虛擬儲存池來簡化作業,並且集中管理所有的儲存設備,以便隨時掌握儲存架構規劃及儲存資源調配的彈性。
具體來說,主要的功能有二,(一)儲存資源集中化:使用單一的介面來簡化作業、降低管理複雜度,不必受限儲存設備硬體廠牌限制。(二)提升現有儲存設備的可用度與使用率:節省儲存資源支出及保障既有投資的資料可在不同的儲存階層之間遷移,並確保在不停機的狀態下進行容量及效能擴充。
除此之外,儲存虛擬化的好處還包含可減少電源使用,降低冷卻(Cooling)設備時所須耗費的電力、減少實體裝置設備、減少設備所需佔用的實體空間、減少管理節點、簡化IT架構,以及降低管理人員成本等等。

理想與現實的拉扯

然而,現實環境卻並非如此美好,許多問題都再再阻礙了儲存虛擬化目的之實現。賽門鐵克技術顧問協理孫秀婷認為,主要棘手的因素可以追溯到三個根本的問題。第一,管理儲存複雜性,一旦資料量越來越多,便會需要許多管理不同廠商的單點工具,以及實體與虛擬環境的管理。
另外,甚至資料中心( Data Center)還會存在多個操作系統,不同的操作系統會有不同的管理系統與介面或工具,都只能運行在特定的平台之上,這意味著,企業必須要在多元環境之下,不得不處理多種不同的工具,讓管理難度更加乘。
其次,為了解決上述的問題,企業可能會採取顧前不顧後的作法建置許多「孤島」儲存裝置,一旦這些「孤島」越來越多,問題只會日益加劇。原因何在?就是因為缺乏統一的中央管理機制。
最後一個原因則是因為儲存使用率的不足,使用率不足的儲存群組,造成資本支出和營運成本(硬體與耗費人力的程序)增加。這部分通常來自於因為管理部門與業務部門之間存在著認知與溝通上的差異,業務部門在進行新專案的採購時,有時會預期過高,並未進行精確的預估,進而導致需求膨脹。目前企業資料量每年以40%到60%速度成長,但多數企業的儲存系統使用率不彰,通常只用了所有空間的30%到40%,最差的甚至還可能只有12%。
近幾年來,虛擬化技術的導入大幅改善了IT資源的運用、分享與整合的問題,也提升IT的效能,但是真正廣為使用之虛擬化技術則多圍繞在以伺服器為主的CPU及記憶體的資源上。相對地,雖然多家儲存設備供應商紛紛提出相對應之儲存架構的解決方案,卻都未能真正普及,其主要的原因:與伺服器相比,儲存設備所使用的技術與環境顯得更複雜並難以駕馭。
另外,所發展層出不窮的各種技術,如Mirror/Clone、快照(Snapshot)、精簡自動配置(Thin Provisioning)等應用模式,讓儲存虛擬化的入手,多了幾層繁複的技術考量。而且各儲存設備供應商各自獨立發展使用環境,也讓整合成為儲存設備資源難以跨越分享的鴻溝。不僅如此,各廠商間無法整合的規格也造成管理複雜化,使得管理成本偏高。
「以目前台灣中小企業來說,真正做到儲存虛擬化其實很少,而且大致上來說都只是部分導入,之所以採用的低,除了部分是技術問題之外,還包含組織、架構、人員等其它層面的因素」孫秀婷說。
且根據賽門鐵克2011虛擬化與雲端發展調查報告顯示,在台灣僅有33%的企業在進行儲存虛擬化相關建置。該調查報告同樣指出,部署之後的實際狀況與期望之間通常都會有所落差,這也會降低企業建置的意願,諸如可擴充性較實際預期減少34%;敏捷度較實際預期減少22%;降低營運開銷較實際預期減少22%(表1)。

導入前停看聽

談到儲存虛擬化,就不得不討論儲存的互通性,因為要了解虛擬化工具,就一定要先了解個別儲存廠商如何在主機和網路陣列當中(通稱為所謂的多路I/O)建立資料路徑的方法,為了支援異質環境的儲存管理,廠商須以標準化的方法支援特殊的多路I/O(multipath I/O), 幫客戶隱藏掉技術的複雜性。
傳統的作法是,大多數的磁碟陣列產品就是一個單一儲存虛擬化的典型代表,將大量的磁碟進行組織管理,透過磁碟控制器將實體磁碟組成RAID Group(RG),在RG 的基礎上進行儲存區塊分散連結(Striping)、資料分散寫入,最終組成虛擬的邏輯磁碟供主機使用。但由於此種類型的虛擬化應用僅停留在單一設備內部,支援磁碟的數量與功能有限,既耗時且影響系統效能。
HP企業業務群儲存方案產品經理蕭舜華表示,要做到所謂真正的儲存虛擬化,必須包括整合不同儲存設備,減少浪費儲存空間,且可向虛擬伺服以動態方式提供配置(Dynamic Provisioning),縮短向虛擬伺服調整和配置儲存的時間。



許多想上虛擬化企業的IT人員們,常常問到:「我公司有XX台伺服器,我想虛擬化,要買VMware還是Hyper-V」。當我聽到這樣子的問題時,我會先反問一個問題:「公司目前使用的獨立儲存產品為何?」讓人驚訝的是,竟然有60%以上想要進行虛擬化的公司竟然沒有獨立儲存設備。如果沒有儲存設備,企業虛擬化事實上和使用VMware Workstation並沒有太大的差別,充其量只是讓一台電腦上能運行多台OS而已。企業虛擬化除了省電、資源分配之外,最重要的目的還是能保障安全,因此不管是VMotion,Live Migration,HA,DRS等功能,沒有獨立的儲存設備就是空談,因在真正購買VMware VI系或是微軟的Hyper-V系列之前,先考慮一下儲存設備吧。儲存設備是一個很大的學問,而儲存設備更是虛擬機的根源所在。以企業虛擬機用的儲存設備來說,最常看到的就是iSCSI和FC SAN,雖然價錢不便宜,但對於企業的安全來說十分重要。事實上,虛擬技術的發展一直沒辦法離開儲存設備,主要原因就是虛擬化在儲存設備上是進行的最徹底的。
舉例來說吧,個人電腦目前的硬碟大概是從500GB起跳,但很少人會直接將整個500GB劃分成一個C磁碟(以Windows系統來說)。當你在規劃分割區時,就是在做儲存設備的虛擬化,因為根本沒有兩個硬碟,但利用了分區的觀念來達成。
換成企業的磁碟陣列,多台硬碟組成一個大硬碟池,然後再在其中規劃成不同的邏輯單位(LUN),在使用了iSCSI或是FC SAN之後,這些LUN可以被單一的實體電腦或是虛擬機辨視為可開機的實體硬碟,此時儲存設備的虛擬化更加抽象了。事實上,在Linux下,LVM的觀念就是如此,將不同的儲存設備上的各種分區 ,實體硬碟等都集合成一個大的LVM,再在上面進行分割。雖然LVM是軟體的實作,但和儲存設備上的LUN的實作已經不遠了。
目前網上下載的電影已經進入HD畫質,隨隨便便一個影片就有10G,20G,個人的儲存設備也慢慢從內建的硬碟變成外接的USB、1394或eSATA了。嘉許最近買了一台個人用的NAS,不但有網路、USB,USB HOST,更有eSATA,檔案個式也有NTFS以及NFS,已經可以直接實作虛擬機的Inventory了。利用個人儲存設備的觀念來搞懂虛擬機的儲存觀念,讓你的公司在進行虛擬化的過程能夠更順暢。


Storage virtualization is a critical component of IT virtualization. Benefits of server virtualization — such as improved utilization, flexibility, responsiveness, workload mobility and disaster recovery — can be limited if only part of the infrastructure is virtualized. Storage virtualization is also one of the foundations for effective cloud deployment. IBM offers a variety of storage virtualization solutions to meet the needs of companies of all sizes.


分享式儲存設備(Share Storage)在虛擬化的過程中扮演了極為重要的角色,沒有儲存設備可以共享的話,許多VMware vSphere的重要功能,例如HA, Vmotion與DRS等機房管理永不停機的夢想都無法達成。

    剛安裝完成的 ESX Server 只能存取到本機的直接儲存設備(DAS, Direct Attach Storage),ESX Server這個Hypervisior預設就是放在這個DAS上面,後續安裝的VM若放在DAS上面,就會遇到Server硬體故障時,其上所有的VM都無法 work的窘境,因此希望採購 Share Storage 來存放 VM ,讓所有的 ESX Server 都能接手存取這個 VM,達到永不停機的目的。
    Share Storage 一般而言有透過網路線連接的NAS架構類型與透過專屬介面的SAN架構類型。SAN類型的好處是效能佳,缺點是成本高,而NAS類型的好處是成本低,建構較無距離限制,缺點是效能差了些。
    使用NAS Storage,若要提升效率可使用多張網卡 Team 成一張,例如合併4張1Gb的網卡將頻寬提高。
    能使用SAN Storage當然是最完美了,但遇到下面的情形,恐怕也建議使NAS較佳
  1. ESX Server 距離  SAN Storage 太遠,雖然你說可使用單模光纖,但佈線難度與成本過高也要顧慮
  2. ESX Server數量眾多,加上考慮防止單點錯誤,至少每台要2張HBA光纖卡,還有對應的SAN Switch,主要是成本過高 

    選購這件事其實沒那麼簡單,建議還是多詢問幾家系統整合廠商與 Share Storage 廠商,但就筆者認為呢,若預算只夠建立1-2座 Share Storage 那就考慮NAS好了,若預算可建立多部 Share Storage 那建議分成2個pool,分別建立效能高的 SAN Storage與 效能普通的 NAS Storage,如此便可視情況來選擇想要使用的 Share Storage。
    VMware ESX 的 DataStore 簡單說就是 Host 資料的存放地,可存放的類型有 VM、Templates、ISO Image...等,至於 DataStore 的檔案格式可以是 VMFS、NFS、RDM(Raw Device Mapping),詳細介紹請參考 http://www.weithenn.org/cgi-bin/wiki.pl?VMware_Storage



電子報 第七十九期 
內頁-小標
內頁-主圖
雲端開機新視野,網路啟動零距離
文、圖/軟體技術組  蔡育欽
Cloudboot  為一個以開放與自由軟體為基礎的雲端開機服務。使用者只需要在有網際網路的環境下,透過預先下載的開機程式開機,即可容易地使用此項服務。目前可以透過雲端開機開啟DRBL Live、Clonezilla Live、GParted Live、FreeDOS 等系統與微型記憶體測試程式、10 多種 Linux 網路安裝程式。同時為了減少使用者等待的時間,該服務在全球有將近 20 個鏡像站,減少跨國檔案傳輸的時間。
在開始認識雲端開機服務之前,我們先了解一下網路開機的歷史。網路開機的名詞早於 1989 年由 Hannu H. Kari 發表的區域網路無磁碟工作站中就有基礎的概念。在 1990 年 IBM LAN Server 提供了 DOS 與 OS/2 的網路開機,其使用了 Remote Initial Program Load (RIPL or RPL) 協定;IBM 在 1997 介紹了Wake-on-LAN (WOL) 技術,定義規範允許透過網路裝置啟動電源;在 1999 年 Apple 提供了 NetBoot 網路安裝程式;同年 Intel 與 Systemsoft 發表了 Preboot Excution Environment (PXE) 規範,並與微軟在 2001 年訂定了一個規範,該規範強調新電腦網路裝置必須包含兩項特色:WOL 與 Network Boot。
目前大部分電腦也都符合這項規範,也就是在 BIOS 中可以找到 WOL 與 Network Boot 兩項功能,啟用之後硬體已經準備好網路開機的功能了。一般 Network Boot 所用的是 PXE 規範,PXE 使用了 IPv4、UDP、DHCP、TFTP 等網路協定並結合識別代碼 GUID、UUID 等技術。只要網路裝置中的韌體有使用了 PXE 定義的應用程式界面語法與規範,即可用以做到網路開機。PXE 網路開機至少需要兩項服務 DHCP 與 TFTP。DHCP 負責提供 IP 配發,讓網路裝置取得位址,確保至少可以使用區域網路服務;TFTP 小型檔案傳輸協定,透過 UDP 協定,提供網路開機所需要的檔案。網路開機功能逐漸普及,但一般環境要使用還是有一定難度,除了必須要有網路專業知識、作業系統開機流程、DHCP 服務架設管理、TFTP 服務架設管理等。即使有這樣的能力但是受限於 PXE 只能使用於局域網路的限制,一般玩家要使用還是困難重重,要普及到家家戶戶,更是困難。
Etherboot 專案在 2001 年發起,該組織注意到了這些問題,並嘗試提出解決方式。該組織逐步整合許多新的網路協定與應用範圍後,發表了 gPXE 協定用以取代 PXE。gPXE 可以支援IPv4、DNS、DHCP、TFTP、HTTP、iSCSI SAN、AoE SAN 等網路通訊協定。相對於傳統 PXE ,gPXE 韌體提供自訂靜態 IP, 所以可以不需要 DHCP;開機檔案也不限定由 TFTP  取得,至此,開始了 HTTP 開機的可能性。2011 年由gPXE產生新的分支計畫 iPXE,支援更多網路裝置,提供自訂 script 語法並可嵌入韌體中。Cloudboot 基於 iPXE 的技術,撰寫語法嵌入於韌體中,自訂HTTP 開機選單、調整 HTTP 開機程式等,逐步整合簡易的應用到雲端開機服務之內。想像一下使用電腦不需要硬碟,或是某些特殊應用,只要網路通暢就好,隨時開隨時有的作業環境,這就是Cloudboot 希望帶給大家的服務。
使用上有幾種模式可以選擇,由於目前網路裝置大部份還是只提供 PXE,並無iPXE韌體,所以需要透過其他媒介代理,例如USB 或者光碟機等。在 Cloudboot 網站上依據開機媒介下載對應的檔案即可。目前提供了有
1.. 光碟與軟碟映像檔,下載之後寫進碟片,由光碟/軟碟開機後轉換至Cloudboot網路開機
2. USB 映像檔,下載之後執行程式,自動安裝韌體到隨身碟,由隨身碟開機後轉換至Cloudboot網路開機
3. TFTP 映像檔、 pxelinux 韌體檔,由原本的 PXE 網路開機再轉換至Cloudboot網路開機4. 網路卡,將 Cloudboot 韌體透過工具直接寫進網路卡,甚至還可以應用到無線網路裝置中,使用該網路裝置直接使用 Cloudboot 服務,開機畫面如下:
 Cloudboot開機畫面
開機後可以手動設定靜態 IP 位址,或是直接透過路由器 DHCP 取得 IP位址,網路正確之後會連結預設的開機選單。在雲端開機目前提供了應用服務如下:
1. DRBL Live: Diskless Boot in Linux 無碟開機服務
2. Clonezilla Live: 備份還原系統
3. GParted Live:磁碟管理系統
4. FreeDOS:DOS 系統
5. Memtest:記憶體檢測程式
6. Linux Network Boot:10 多種 Linux 網路安裝程式
並於未來將會逐步增加應用範圍。
Cloudboot選單畫面
選單中可以依據需求選擇系統、也可以依據位置另外選擇鏡像站。甚至可以自訂自己的開機網址與檔案。根據 Etherboot 與 iPXE 專案說明,可以自行設定出 Windows iSCSI 網路開機,且支援帳號密碼認證,但由於授權與網路需求,Cloudboot 尚無法提供。Cloudboot 所有的程式都在 Sourceforge 可以取得,只要熟悉編寫 PHP 程式語言與網路開機程式設定,及可以自行建制私有雲端開機服務。
筆者測試以雲端開機服務使用 Clonezilla 備份系統於一般家用 光纖 50M 環境,從下載檔案到進入Clonezilla live使用環境只需要 5-8 分鐘,即可開始使用進行備份/還原,可以想見,如果在企業內網,使用的是gigabits網路,Cloudboot伺服器也在企業內網中,從開機到可以開始使用甚至應該只要幾秒鐘就可以完成。目前使用 Cloudboot 雲端開機服務相對以往區域網路開機已經大量簡化許多作業,如果未來能夠直接在網路裝置上使用那會更加簡易,最後讓我們一起期許網路開機就像瀏覽網頁一樣平易近人。

http://www.nchc.org.tw/tw/e_paper/e_paper_content.php?SN=119&SUB_SUBJECT_ID=321&cat=nchc

沒有留言:

張貼留言