電子發燒友App
創作
發文章
發帖 
提問 
發資料
發視頻Flink Remote Shuffle Flink任務間數據交換
資料介紹
軟件簡介
Flink Remote Shuffle 是一種批場景下利用外部服務完成任務間數據交換的 Shuffle 實現，本文后續將詳細介紹 Flink Remote Shuffle 研發的背景，以及 Flink Remote Shuffle 的設計與使用。
重要特性
-
存儲計算分離：存儲計算分離使計算資源與存儲資源可以獨立伸縮，計算資源可以在計算完成后立即釋放，Shuffle 穩定性不再受計算穩定性影響。
-
支持多種部署模式：支持 Kubernetes、Yarn 以及 Standalone 環境下部署。
-
采用了類似 Flink Credit-Based 流量控制機制，實現了零拷貝數據傳輸，最大限度的使用受管理的內存 (managed memory) 以避免 OOM，提高了系統穩定性與性能。
-
實現了包括負載均衡、磁盤 IO 優化、數據壓縮、連接復用、小包合并等諸多優化，實現了優秀的性能與穩定性表現。
-
支持 Shuffle 數據正確性校驗，能夠容忍 Shuffle 進程乃至物理節點重啟。
-
結合 FLIP-187: Flink Adaptive Batch Job Scheduler[11]?可支持動態執行優化，如動態決定算子并發度。
設計思路與原理介紹
參閱此文章：https://www.oschina.net/news/171564/flink-remote-shuffle-open-source
?
声明：本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人，不代表电子发烧友网立场。文章及其配图仅供工程师学习之用，如有内容侵权或者其他违规问题，请联系本站处理。 举报投诉
- Flink学习精要0次下载
- 基于单向传输协议的网络数据交换技术7次下载
- NoSQL数据库间数据交换代价研究0次下载
- 组态王与VB数据交换方法16次下载
- 一种电子政务数据交换模型的设计12次下载
- 一种基于JCA的数据交换架构17次下载
- 多单片机系统中的数据交换13次下载
- 关于ISA 数据交换的一些小例子20次下载
- 多单片机系统中的数据交换20次下载
- 基于任务的数据交换平台16次下载
- 策略驱动的数据交换模型5次下载
- 安全数据交换技术在HIS中的应用14次下载
- 基于时间闸和放行令牌的数据交换技术17次下载
- 基于实时数据交换技术的数据通信13次下载
- 一个系统中多单片机之间的数据交换13次下载
- 交换芯片是什么意思 交换芯片的功能有哪些2794次阅读
- GIS可处理非地理空间数据吗699次阅读
- ZEMAX与MATLAB动态数据交换及其应用1300次阅读
- 如何实现西门子、欧姆龙、三菱、AB等PLC之间数据交换1999次阅读
- 交换机的特点、工作原理及数据交换方式10361次阅读
- Profinet直接数据交换功能概述2478次阅读
- S7-1500 CPU支持与其它S7-1500 CPU进行直接数据交换4485次阅读
- JustWeEngine游戏框架网络事件处理 Http服务器的数据交换1797次阅读
- 如何将 PROFINET IO 系统的用户数据交换组态 IRT 通讯？5407次阅读
- 实时数据体系建设的总体方案的三部分6890次阅读
- 一套符合标准SQL语义的开发语言,link的最新特性2520次阅读
- 来看看Spark和Flink各自的优劣和主要区别31548次阅读
- mapreduce工作原理图文详解_Map、Reduce任务中Shuffle和排序8664次阅读
- 基于FPGA的BIade Server与主板之间PCI数据交换2298次阅读
- 利用OPC实现VC应用程序与PLC的数据交换4918次阅读
上傳資料賺積分下載排行
本周
- 1山景DSP芯片AP8248A2數據手冊
- 1.06 MB | 532次下載 | 免費
- 2RK3399完整板原理圖（支持平板，盒子VR）
- 3.28 MB | 339次下載 | 免費
- 3TC358743XBG評估板參考手冊
- 1.36 MB | 330次下載 | 免費
- 4DFM軟件使用教程
- 0.84 MB | 295次下載 | 免費
- 5元宇宙深度解析—未來的未來-風口還是泡沫
- 6.40 MB | 227次下載 | 免費
- 6迪文DGUS開發指南
- 31.67 MB | 194次下載 | 免費
- 7元宇宙底層硬件系列報告
- 13.42 MB | 182次下載 | 免費
- 8FP5207XR-G1中文應用手冊
- 1.09 MB | 178次下載 | 免費
本月
- 1OrCAD10.5下載OrCAD10.5中文版軟件
- 0.00 MB | 234315次下載 | 免費
- 2555集成電路應用800例(新編版)
- 0.00 MB | 33566次下載 | 免費
- 3接口電路圖大全
- 未知 | 30323次下載 | 免費
- 4開關電源設計實例指南
- 未知 | 21549次下載 | 免費
- 5電氣工程師手冊免費下載(新編第二版pdf電子書)
- 0.00 MB | 15349次下載 | 免費
- 6數字電路基礎pdf(下載)
- 未知 | 13750次下載 | 免費
- 7電子制作實例集錦 下載
- 未知 | 8113次下載 | 免費
- 8《LED驅動電路設計》 溫德爾著
- 0.00 MB | 6656次下載 | 免費
總榜
- 1matlab軟件下載入口
- 未知 | 935054次下載 | 免費
- 2protel99se軟件下載(可英文版轉中文版)
- 78.1 MB | 537798次下載 | 免費
- 3MATLAB 7.1 下載 (含軟件介紹)
- 未知 | 420027次下載 | 免費
- 4OrCAD10.5下載OrCAD10.5中文版軟件
- 0.00 MB | 234315次下載 | 免費
- 5Altium DXP2002下載入口
- 未知 | 233046次下載 | 免費
- 6電路仿真軟件multisim 10.0免費下載
- 340992 | 191187次下載 | 免費
- 7十天學會AVR單片機與C語言視頻教程 下載
- 158M | 183279次下載 | 免費
- 8proe5.0野火版下載(中文版免費下載)
- 未知 | 138040次下載 | 免費
工商網監
評論