hive和hbase有什麼關係和區別

時間 2021-08-30 11:14:12

1樓:匿名使用者

共同點:

1.hbase與hive都是架構在hadoop之上的。都是用hadoop作為底層儲存

區別:2.hive是建立在hadoop之上為了減少mapreduce jobs編寫工作的批處理系統,hbase是為了支援彌補hadoop對實時操作的缺陷的專案 。

3.想象你在操作rmdb資料庫,如果是全表掃描,就用hive+hadoop,如果是索引訪問,就用hbase+hadoop 。

4.hive query就是mapreduce jobs可以從5分鐘到數小時不止,hbase是非常高效的,肯定比hive高效的多。

5.hive本身不儲存和計算資料,它完全依賴於hdfs和mapreduce,hive中的表純邏輯。

6.hive借用hadoop的mapreduce來完成一些hive中的命令的執行

7.hbase是物理表,不是邏輯表,提供一個超大的記憶體hash表,搜尋引擎通過它來儲存索引,方便查詢操作。

8.hbase是列儲存。

9.hdfs作為底層儲存,hdfs是存放檔案的系統,而hbase負責組織檔案。

10.hive需要用到hdfs儲存檔案,需要用到mapreduce計算框架。

2樓:匿名使用者

應該是hadoop在hbase和hive中的作用吧。 hbase與hive都是架構在hadoop之上的。都是用hadoop作為底層儲存。

而hbase是作為分散式資料庫,而hive是作為分散式資料倉儲。當然hive還是借用hadoop的mapreduce來完成一些hive中的命令的執行。而hbase與hive都是單獨安裝的。

你需要哪個安裝哪個,所以不存在重複資訊。

hbase和hive的差別是什麼,各自適用在什麼場景中

3樓:

hbase和hive的主要區別是:他們對於其內部的資料的儲存和管理方式是不同的,hbase其主要特點是仿照bigtable的列勢儲存,對於大型的資料的儲存,查詢比傳統資料庫有巨大的優勢,而hive其產生主要應對的資料倉儲問題,其將存在在hdfs上的檔案目錄結構對映成表。主要關注的是對資料的統計等方面。

適合的場景:

hbase:適合大型資料儲存,其作用可以類比於傳統資料庫的作用,主要關注的資料的存取。

hive:適合大資料的管理,統計,處理,其作用類比於傳統的資料倉儲,主要關注的資料的處理。

總結:應對大資料的時候,如果你偏重於資料儲存查詢hbase無疑是更加適合,而你關注的是對大資料的處理結果查詢,比如你查詢的時候有類似於count,sum等函式操作 hive就能滿足你的需求,一般有些專案都輸在hive裡面進行資料處理,然後將結果匯入mysql等資料庫或者hbase中進行查詢,至於mysql與hbase的選擇 比較傾向於你的處理之後的資料量

hbase和hive的差別是什麼,各自適用在什麼場景中

4樓:育知同創教育

hbase和hive的差別對比:

1、hbase當前nosql資料庫的一種,hive是hdfs分散式檔案系統的一種,二者對資料的儲存方式是不同的。

2、使用場景:

hbase最常見的應用場景就是採集的網頁資料的儲存,由於是key-value型資料庫,可以再擴充套件到各種key-value應用場景,如日誌資訊的儲存,對於內容資訊不需要完全結構化出來的類cms應用等。注意hbase針對的仍然是oltp應用為主。

hive主要針對的是olap應用,其底層是hdfs分散式檔案系統,重點是基於一個統一的查詢分析層,支撐olap應用中的各種關聯,分組,聚合類sql語句。hive一般只用於查詢分析統計,而不能是常見的cud操作,要知道hive是需要從已有的資料庫或日誌進行同步最終入到hdfs檔案系統中,當前要做到增量實時同步都相當困難。

hbase和hive的差別是什麼,各自適用在什麼場景中

5樓:匿名使用者

對於hbase當前nosql資料庫的一種,最常見的應用場景就是採集的網頁資料的儲存,由於是key-value型資料庫,可以再擴充套件到各種key-

value應用場景,如日誌資訊的儲存,對於內容資訊不需要完全結構化出來的類cms應用等。注意hbase針對的仍然是oltp應用為主。

對於hive主要針對的是olap應用,注意其底層不是hbase,而是hdfs分散式檔案系統,重點是基於一個統一的查詢分析層,支撐olap應用中的各

種關聯,分組,聚合類sql語句。hive一般只用於查詢分析統計,而不能是常見的cud操作,要知道hive是需要從已有的資料庫或日誌進行同步最終入

到hdfs檔案系統中,當前要做到增量實時同步都相當困難。

和mysql,oracle完全不是相同的應用場景。這個是結構化資料庫,針

對的更多的是結構化,事務一致性要求高,業務規則邏輯複雜,資料模型複雜的企業資訊化類應用等。包括網際網路應用中的很多業務系統也需要通過結構化資料庫來

實現。所以和hbase,hive不是一個層面的東西,不比較。

hive和hbase有什麼區別,hive和hbase有什麼關係和區別

hbase和hive的主要區別是 他們對於其內部的資料的儲存和管理方式是不同的,hbase其主要特點是仿照bigtable的列勢儲存,對於大型的資料的儲存,查詢比傳統資料庫有巨大的優勢,而hive其產生主要應對的資料倉儲問題,其將存在在hdfs上的檔案目錄結構對映成表。主要關注的是對資料的統計等方面...

光子和電子有什麼關係,光子和電子有什麼關係?

光子是電磁波,電子是實物粒子與電磁波是兩回事。電子與光子這兩種粒子的根本區別 光子沒有自旋,電子有自旋。電子是組成原子的基本粒子,電子有確定的靜止質量,是一種物質實體,速度可以低於光速。嚴格的說,光粒子是不存在的,它只是一種能量傳播的載體。按照普朗克的理論,一個光子代表著一份能量,光子是沒有靜止質量...

西施和豆腐有什麼關係,豆腐和西施有什麼關係

風影月黑 豆腐西施 西施是春秋時越王勾踐獻給吳王夫差的美女,後來把她當做美女的代稱。也叫西子。豆腐西施出自魯迅的 故鄉 裡的楊二嫂。稱楊二嫂 豆腐西施 表面上彷彿是在讚美她的年輕美貌並點明其身份 開豆腐店的 其實還有深層含意。南方人通常把揶揄 侮辱人的行為叫做 吃豆腐 中,作者寫 我孩子時候,在斜對...