hdfs知識

• 

  HBase集群數據在線遷移方案探索

  一、背景 訂單本地化系統(tǒng)目前一個月的訂單的讀寫已經切至jimkv存儲，對應的HBase集群已下線。但存儲全量數據的HBa

  2024-06-12 標簽： 接口 編程 數據遷移 1172 0

• 

  基于Clickhouse構建新一代日志存儲系統(tǒng)

  服務重啟變得特別慢且 Sys cpu 被打滿，原因是在服務重啟的過程中需要并發(fā)的加載 HDFS 上 Part 的元數據，

  2024-03-12 標簽： TCP 存儲系統(tǒng) HDFS 833 0

• 

  Alluxio是如何助力AI大模型訓練的呢？

  隨著云原生技術的飛速發(fā)展，各大公有云廠商提供的云服務也變得越來越標準、可靠和易用。憑借著云原生技術，用戶不僅可以在不同的

  2023-08-17 標簽： 存儲器 緩存器 機器學習 1934 0

• 

  Apache Doris巨大飛躍：存算分離新架構介紹

  歷史上，數據分析需求的不斷提升（更大的數據規(guī)模、更快的處理速度、更低的使用成本）和計算基礎設施的不斷進化（從專用的高端硬

  2023-08-04 標簽： 存儲器 計算機 耦合器 1162 0

• 

  存算分離架構設計與遷移實踐

  今天的案例分享來自社區(qū)用戶一面數據，這是一家通過解讀電商平臺和社交媒體渠道的海量數據，為全球快消巨頭（如寶潔、聯(lián)合利華和

  2023-07-26 標簽： 存儲器 MYSQL數據庫 tpc 1183 0

• 8種主流數據遷移工具技術選型

  ETL(是Extract-Transform-Load的縮寫，即數據抽取、轉換、裝載的過程)，對于企業(yè)應用來說，我們經常

  2023-04-20 標簽： ETL JAVA語言 HDFS 1090 0

• 分析Hive與Spark分區(qū)策略的異同點

  隨著技術的不斷的發(fā)展，大數據領域對于海量數據的存儲和處理的技術框架越來越多。在離線數據處理生態(tài)系統(tǒng)最具代表性的分布式處理

  2023-04-11 標簽： 數據存儲 IOPs HDFS 972 0

• 大數據計算框架簡介

  Hadoop是目前世界上應用最廣泛的大數據工具。Hadoop具有高容錯率，且其硬件價格低，可以使用普通PC服務器（個人理

  2023-03-20 標簽： JAVA PC服務器 編程語言 2343 0

• 分布式文件系統(tǒng)的設計框架

  因為HDFS系統(tǒng)（分布式文件系統(tǒng)）可由數百或數千個存儲文件數據片段的服務器組成，即HDFS系統(tǒng)包含較多的硬件設備，所以H

  2023-03-20 標簽： 服務器 存儲數據 HDFS 1035 0

• 大數據應用的開發(fā)流程

  大數據常見處理流程包括：原始數據采集、數據清洗、數據存儲、統(tǒng)計分析、存儲至數據倉庫、數據導出、導入數據庫、數據可視化。

  2023-02-22 標簽： 數據庫 機器學習 python 5414 0

展開查看更多