2012年,AWS發布存儲網關,用來打通本地和云端的存儲,是照顧企業用戶原有數據資產的需求而推出的產品服務,也是因為有了存儲網關,云端存儲和本地存儲建立聯系,做統一的數據存儲資源池。
存儲網關支持的混合云存儲能干啥呢?簡單而言,能讓本地存儲對接上云,能備份,歸檔,做災難恢復,還能用來做分層存儲,這是存儲網關最擅長的事兒了。
AWS的存儲網關支持用戶本地的文件,塊和磁帶存儲,在云端可連接S3,Glacier存儲還有EBS快照,分別支持NFS,iSCSI以及磁帶庫接口。
文件存儲網關,將本地的數據存儲在云上,本地的文件以對象的形式存儲在S3上,文件的元數據和對象的元數據都在云上,而且,云上可以利用多種云服務實現數據分層。
AWS的存儲網關提供了標準化的存儲協議,能與本地的存儲設備對接,在實際使用中,有了存儲網關的幫助,用戶既能享受到本地的高速緩存存儲,也能享受到云端存儲的便利。
塊存儲網關,塊存儲卷通過iSCSI連到云端,云端備份本地的卷,本地可以從云端創建卷,AWS的云存儲網關最大支持1PB。卷網關有兩種使用場景:
第一種,存儲主要的本地數據,按時間點將數據備份同步到EBS上,每個網關最多支持32個卷,每個卷最大16TB,所以,每個網關最大512TB。
第二種卷網關,用作Cache,將主要數據存放在AWS上,頻繁的訪問本地的數據,也是按時間點備份存放到EBS,每個網關支持32個卷,每個卷最大32TB,每個網關最大1PB。
磁帶網關,把磁帶里的備份數據存放到S2和Glacier磁帶存儲網關上,最大1PB,如果要做云上歸檔的話,容量沒有限制,支持主流的磁帶存儲備份廠商,Veritas,DELL/EMC,Veeam等。
在各種云存儲網關的幫助下,最終云上云下實現無縫跨平臺的數據傳輸,而且用上了云也能享受到低延遲數據存儲體驗。既然用上了云,自然可以享受到云上各種服務提供的各種便利,比如在監控,管理和安全性等方面。
1,創建IAM role選擇賬戶類型:AWS services,并選擇使用該角色的服務:EC2。點擊創建
搜索欄里搜索s3,然后選擇,AmazonS3FullAccess。
這個角色是用來管理Gateway所需要的S3存儲的,所以,對應我們要創建一個S3bucket。
創建S3 Bucket創建一個名為boxer-bucket的bucket,一路next默認完成創建。
創建VPC然后設置訪問權限,創建一個VPC,用于連接EC2和本地設備。
點擊VPC服務,點擊SecurityGroup安全組,命名為OUTREACH:
然后修改一下OUTREACH vpc的進棧出棧規則,打開ssh端口22的入棧,這樣我們可以隨意用SSH訪問這個vpc下的資源。
創建EC2然后回去創建一個全新的EC2,注意創建的時候選擇你創建的IAM roles。其它設置可以選擇默認。
下一步選擇默認的存儲就行,第六步的時候要選你之前創建的安全組:
點擊創建虛擬機,記得配置好PEM文件,這個是登錄過程中很重要的文件。等新的主機啟動好之后用ssh連接,查看一下關聯的bucket,這里有兩個,其中有一個是我們新創建的。
接下來進入正題,開始設置Stroagegateway。
點擊GetStarted開始……
選擇默認的文件網關,FileGateWay,文件存儲網關,點擊Next。
為了方便起見,還是選擇ESXi,下載這個大概800多兆的OVA文件,是個zip文件,順便解壓成OVA文件。
然后登陸vSphere Web Client。
點擊創建VM。
用剛剛下載的OVA文件創建。
起個名字,然后選中解壓的OVA文件,點擊Next。
第三步,存儲設置選擇默認,第四步,Disk Provisioing選擇Thick。
第五步,點擊完成。
如果不出啥問題的話,虛擬機就會這樣啟動了,下圖是我們新創建的虛擬機。
點擊上方的Edit編輯虛擬機配置,點擊添加新磁盤,add new disk,設置150GB空間,用作存儲網關的cache。
創建完畢后能看見,150GB的磁盤已經掛載到了我們剛才創建的虛擬機上。
我們點擊黑色的Console控制臺,以賬號和密碼形式登錄。
賬號和密碼是啥?我在AWS官網上找到了這個,賬號是admin,密碼是password。
登錄AWS-Appliance的Console這里我們能看到這個虛擬機的一些參數,比如IP地址是:192.168.1.103。
回到AWS的頁面中繼續創建GateWay,點擊Next。輸入剛才的IP地址。
設置本地的主機的IP地址時區選擇跟本地主機一個時區,東八區。
最好跟本地主機在一個時區網關已激活,等著下面刷新出本地虛擬機上的磁盤。
額,看來找不到本地磁盤,網上查了下資料,看來還得重啟一下本地虛擬機。
重啟機器之后,150GB的磁盤找到了。
Storage Gateway建立完成,已經在運行當中了。
接下來我們體驗一下這個云存儲網關,設置一下共享文件夾。點擊上網的Creata fiile share。填寫對應的s3 bucket。
點擊Next,Next,最后看到的配置如下圖。
注意看看感嘆號的內容,說是允許任何NFS客戶端的訪問,這有點不安全了。點擊編輯改成192.168.1.0/24,僅限本地網段的訪問。
好,到這里,就算AWS云存儲網關的配置完畢了。
我們用本地的機器連一下這個網關,看看能不能把本地的文件存到AWS上。
筆者用的是MacOS,所以就用自帶的SSH Terminal來操作吧
1,將當前目錄cd到/users/wu_yuzheng/skmc;
2,鍵入如下命令:sudomount -t nfs -o vers=3,nolock -v 192.168.1.103:/boxer-bucket /dev
掛載成功:
此刻,我的這臺小小的Macbookair后端就是存儲網關了,試著創建一個文件看看效果吧。
在/user/wu_yuzheng/skmc目錄下執行:vimhelloAWSGateway.txt
隨便打幾個字兒,算是又一個HelloWorld吧。
這個txt文件應該已經通過存儲網關傳到S3里面了,我們可以確認一下。
找到了
所以,我們能看到本地寫的文件能輕松的同步到云端,當然也可以訪問到云端的數據資源。
那么,云端服務器EC2能否順利訪問這些數據呢?來試試。
登錄我們剛剛創建的EC2主機,查看一下關聯的S3存儲。
鍵入命令:awss3 ls boxer-bucket。
我們剛才創建的helloAWSGateway.txt出現了。
EC2的訪問方式有所不同,本地因為有網關的存在,操作起云端S3就像操作本地一樣,EC2查看S3的文件,方式有所不同,我們需要把文件下載下來。
1,創建一個下載目錄叫downloads3
2,從aws下載文件到這個目錄里面:awss3 cp s3://boxer-bucket/helloAWSGateway.txt downloads3
3,查看一下下載的文件
Hello Nice to meet you AWS Gateway storage,I am boxer~
好的,以上就是這次體驗AWS存儲網關的全部內容了。需要注意的點還是很多的。
花絮:這次體驗,環境搭建是最費時間了:
1,為了這次體驗,我先是在本地機器上安裝VMware的ESXI,版本上最新的是6.7,因為知道VMware的這套東西很麻煩,新東西的兼容性一般會差點,而且出問題,想百度都很難,所以選擇了ESXi6.5。
2,手頭也沒有物理服務器,首先想在PC上安裝一下,為了防止啟動項的干擾,我就想裝在U盤上算了,后來因為缺少網卡驅動而作罷,最后還是用VMwareworkstation安裝出來了。
3,VMware以前有個vSphereClient來著,這次還想下載個這個軟件,結果找了半天沒有找到vSphere Client 6.5,網上也有很多人在找這個,調查了解后發現,VMware現在不更新這個Client了,現在用webclient更簡單,直接在瀏覽器里敲出來服務器地址就好了。
4,默認的虛擬機給ESXi的容量是40GB,這次測試最好讓磁盤大一點,我設置的是400GB,夠用了。
評論
查看更多