其他HBase的特性:
1)沒有真正的索引,行順序存儲,也沒有所謂的索引膨脹問題。
2) 自動分區(qū),表增長時,自動分區(qū)到新的節(jié)點(diǎn)上。
3) 線性擴(kuò)展和區(qū)域會自動重新平衡,運(yùn)行RegionServer,達(dá)到負(fù)載均衡的目的。
4)容錯和普通商用的硬件支持。這點(diǎn)同hadoop類似。
HBase與RDBMS的區(qū)別?
1) 表的設(shè)計:HBase的表可以很高,很寬,可伸縮性很強(qiáng)。而且表的模式是物理存儲的直接反映。
2) 拓?fù)洌?HBase能水平分區(qū)并在上千個節(jié)點(diǎn)上自動復(fù)制。
3) 應(yīng)用形式: 開發(fā)者必須承擔(dān)更多的責(zé)任來正確地利用HBase的檢索和存儲方式。
4) RDBMS 遵循固定的模式,如“codd 12 規(guī)則”,強(qiáng)調(diào)事務(wù)的“強(qiáng)一致性”、參照完整性、SQL支持、數(shù)據(jù)的邏輯與物理形式相對獨(dú)立。等等。適用于中小規(guī)模的數(shù)據(jù),但對于數(shù)據(jù)的規(guī)模和并發(fā)讀寫方面進(jìn)行大規(guī)模擴(kuò)展時,RDBMS會性能大大降低,分布式更為困難,因?yàn)槠湫枰艞壓芏郣DBMS的易用的特性。
HBase適用于上億、上千億級的數(shù)據(jù),如果是只有上千、上百萬級別是數(shù)據(jù),傳統(tǒng)的RDBMS是更好的選擇。
HBase需要更多硬件,如果硬件較少,如5個,干不成什么好事。
如果從RDBMS移植到HBase,需要消除RDBMS的很多額外特性,如列數(shù)據(jù)類型、第二索引、事務(wù)、高級查詢等。
HBase的數(shù)據(jù)模式是怎么樣的?即有哪些元素?如何存儲?
1) 數(shù)據(jù)模式
如下列三個表:
第一個是一個稀疏的表,實(shí)際上它是一個虛表,僅是一個概念視圖,不是真實(shí)的存儲形式,它來源于后兩個表。
而后兩個表才是真正的表,物理視圖,他們是實(shí)際的存儲形式,而且它們是按列族進(jìn)行存儲的。
2) HBase的基本元素:
表、行、列、單元格: 表的基本要素
鍵:一般是指行的鍵,即唯一標(biāo)識某行的元素。表中的行,可以根據(jù)鍵進(jìn)行排序,而對表的訪問,也通過鍵。
列族:所有列族成員擁有相同的前綴,某列族的成員,需要預(yù)先定義,但也可以直接進(jìn)行追加。
列族成員會一起放進(jìn)存儲器。而HBase面向列的存儲,是面向列族的數(shù)據(jù)存儲(這個通過上面那個表的示例可以看出來),數(shù)據(jù)存儲與調(diào)優(yōu)都在這個層次,HBase表與RDBMS中表類似,行是排序的,客戶端可以把列添加到列族中去。
單元格cell: 單元格中存放的是不可分割的字節(jié)數(shù)組。并且每個單元格擁有版本信息。HBase的是按版本信息倒序排列。
區(qū)域region:將表水平劃分,是HBase集群分布數(shù)據(jù)的最小單位。在線的所有區(qū)域就構(gòu)成了表的內(nèi)容。
加鎖:對數(shù)據(jù)行進(jìn)行更新,都需加鎖。保持原子性。
3) 數(shù)據(jù)模型有哪些操作?
Get、Scan、Put、Delete,即返回特定行的屬性,多行屬性、插入、刪除數(shù)據(jù)。
這些都需要一個HTable實(shí)例來操作。分別有Get、Scan、Put、Delete類來指定相應(yīng)的參數(shù)、屬性。
4) 返回結(jié)果的排序方式是什么?
先是行、再是列族、再是列修飾符,最后是時間戳(反向排序,最新的在前面)。
5)最后,HBase不支持聯(lián)合查詢
6)mapreduce與HBase表配合使用,默認(rèn)mapreduce的任務(wù)分割是根據(jù)HBase表中region的多少來分割,一個region就有一個map。
HBase的模式Schema設(shè)計的一些概念和原則
1)模式的創(chuàng)建與更新
可以使用HBase Shell或HBase Admin來創(chuàng)建和編輯HBase的模式。
在0.90.x 版本,只能先禁用表,再修改列族,而0.92.x版本以后,支持在線修改。
而且表和列族修改后,如size, region, block size等,在下次 主緊縮 或 存儲文件時 起作用。
2)列族的數(shù)量
-列族數(shù)量越少越好,即使同時有兩個列族,查詢的時候總是訪問其中一個列族,不會同時訪問。
-當(dāng)一個表存在多個列族,當(dāng)基數(shù)差距很大時,如A族有100萬行,B族10億行,A族可能會被分散到很多區(qū)域region,導(dǎo)致掃描A的效率降低。
-另外,多個列族在flush和compaction時,會造成很多I/O負(fù)擔(dān)。
3)行鍵設(shè)計RowKey
a. 不要將RowKey設(shè)計成有序的形式,因?yàn)檫@樣容易阻塞并行性,將負(fù)載壓都在一臺機(jī)器上
b. 定位一個單元,需要行,列名和時間戳。如果一個單元格的坐標(biāo)很大,會占用內(nèi)存,索引用光。所以,解決方法:列族名盡量小,如一個字符a,短屬性名,而行鍵長度可讀即可(行鍵長度對數(shù)據(jù)訪問無太大影響),將數(shù)字字符轉(zhuǎn)換為數(shù)字字節(jié)模式(節(jié)省空間)。
c. 倒序時間戳有助于找到找到最近版本值
d. 行鍵是在列族范圍內(nèi)有效,不同列族中可以擁有同樣的行鍵
e. 行鍵永遠(yuǎn)不能變
4)HBase支持所有能轉(zhuǎn)換為字節(jié)數(shù)組的東西,如字符串、數(shù)字、復(fù)雜對象、計數(shù)器、甚至圖像。
5)列族可以設(shè)置存活時間TTL,超時后,HBase自動刪除數(shù)據(jù)
6)第二索引和查詢: 這里面有很多東西,需要查看對應(yīng)版本官方的文檔更好些。
HBase的拓?fù)浣Y(jié)構(gòu)是什么?
1)拓?fù)浣Y(jié)構(gòu): 類似于HDFS的mast與slave,mapreduce的tasktracker與jobtracker的關(guān)系,HBase也有master和RegionServer
2)HBase與ZooKeeper的關(guān)系是什么?
HBase必須管理一個ZooKeeper實(shí)例,它依賴ZooKeeper,主要目的是,通過ZooKeeper來協(xié)調(diào)區(qū)域內(nèi)的服務(wù)器,它負(fù)責(zé)目錄表、主控機(jī)地址等重要信息,若有服務(wù)器崩潰,HBase就可以通過ZooKeeper來協(xié)調(diào)分配。
RegionServer在HBase的配置文件conf/regionservers文件中,而HBase集群的站點(diǎn)配置在conf/hbase-site.xml和conf/hbase-env.sh中配置。HBase盡量遵循了Hadoop的規(guī)則。
3)HBase的內(nèi)部結(jié)構(gòu)管理狀況:
其內(nèi)部有-ROOT, -META的特殊目錄表,用于維護(hù)當(dāng)前集群上所有區(qū)域的列表、位置和狀態(tài)。
-ROOT表包含 -META表的區(qū)域列表,而-META表示包含用戶的的區(qū)域列表。
所以,HBase管理的流程是:
Client -- 鏈接到ZooKeeper -- 查找-ROOT表的位置 -- 查找-META表的位置 -- 查找用戶的區(qū)域所在的節(jié)點(diǎn)、位置及其狀態(tài)等 -- 直接管理指定區(qū)域的RegionServer并進(jìn)行交互。
HBase支持Java及MapReduce的開發(fā)。
HBase提供了Thrift、REST及Avro的接口。HBase需要有一個相應(yīng)的接口客戶端負(fù)責(zé)與這些接口的交互。但是這些需要代理進(jìn)行處理請求和響應(yīng),所以比java更慢。
%hbase-daemon.sh start/stop rest/thrift/avro //啟動或終止對應(yīng)的客戶端
評論
查看更多