在线观看www成人影院-在线观看www日本免费网站-在线观看www视频-在线观看操-欧美18在线-欧美1级

電子發燒友App

硬聲App

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
电子发烧友
开通电子发烧友VIP会员 尊享10大特权
海量资料免费下载
精品直播免费看
优质内容免费畅学
课程9折专享价
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示
電子發燒友網>電子資料下載>電子資料>Apache SeaTunnel高性能分布式數據集成平臺

Apache SeaTunnel高性能分布式數據集成平臺

2022-06-14 | zip | 0.58 MB | 次下載 | 2積分

資料介紹

授權協議 Apache
開發語言 Java
操作系統 跨平臺
軟件類型 開源軟件
所屬分類 大數據數據處理

軟件簡介

seatunnel 是一個非常易用的支持海量數據實時同步的超高性能分布式數據集成平臺,每天可以穩定高效同步數百億數據,已在近百家公司生產上使用。

為什么我們需要 seatunnel

seatunnel 盡所能為您解決海量數據同步中可能遇到的問題:

  • 數據丟失與重復
  • 任務堆積與延遲
  • 吞吐量低
  • 應用到生產環境周期長
  • 缺少應用運行狀態監控

seatunnel 使用場景

  • 海量數據同步
  • 海量數據集成
  • 海量數據的 ETL
  • 海量數據聚合
  • 多源數據處理

seatunnel 的特性

  • 簡單易用,靈活配置,無需開發
  • 實時流式處理
  • 離線多源數據分析
  • 高性能、海量數據處理能力
  • 模塊化和插件化,易于擴展
  • 支持利用 SQL 做數據處理和聚合
  • 支持 Spark Structured Streaming
  • 支持 Spark 2.x

seatunnel 的工作流程

pYYBAGKjJIqACBxRAABXRzrh5fs073.png

                         Input[數據源輸入] -> Filter[數據處理] -> Output[結果輸出]

多個 Filter 構建了數據處理的 Pipeline,滿足各種各樣的數據處理需求,如果您熟悉 SQL,也可以直接通過 SQL 構建數據處理的 Pipeline,簡單高效。目前 seatunnel 支持的Filter列表, 仍然在不斷擴充中。您也可以開發自己的數據處理插件,整個系統是易于擴展的。

seatunnel 支持的插件

  • Input plugin

Fake, File, Hdfs, Kafka, S3, Socket, 自行開發的 Input plugin

  • Filter plugin

Add, Checksum, Convert, Date, Drop, Grok, Json, Kv, Lowercase, Remove, Rename, Repartition, Replace, Sample, Split, Sql, Table, Truncate, Uppercase, Uuid, 自行開發的Filter plugin

  • Output plugin

Elasticsearch, File, Hdfs, Jdbc, Kafka, Mysql, S3, Stdout, 自行開發的 Output plugin

環境依賴

  1. java 運行環境,java >= 8

  2. 如果您要在集群環境中運行 seatunnel,那么需要以下 Spark 集群環境的任意一種:

  • Spark on Yarn
  • Spark Standalone

如果您的數據量較小或者只是做功能驗證,也可以僅使用?local?模式啟動,無需集群環境,seatunnel 支持單機運行。 注: seatunnel 2.0 支持 Spark 和 Flink 上運行

下載

可以直接運行的軟件包下載地址:https://github.com/InterestingLab/seatunnel/releases

快速入門

快速入門:https://interestinglab.github.io/seatunnel-docs/#/zh-cn/v1/quick-start

關于 seatunnel 的詳細文檔

生產應用案例

  • 微博, 增值業務部數據平臺 微博某業務有數百個實時流式計算任務使用內部定制版 seatunnel,以及其子項目Guardian做 seatunnel On Yarn 的任務監控。

  • 新浪, 大數據運維分析平臺 新浪運維數據分析平臺使用 seatunnel 為新浪新聞,CDN 等服務做運維大數據的實時和離線分析,并寫入 Clickhouse。

  • 搜狗,搜狗奇點系統 搜狗奇點系統使用 seatunnel 作為 ETL 工具, 幫助建立實時數倉體系

  • 趣頭條,趣頭條數據中心 趣頭條數據中心,使用 seatunnel 支撐 mysql to hive 的離線 ETL 任務、實時 hive to clickhouse 的 backfill 技術支撐,很好的 cover 離線、實時大部分任務場景。

  • 一下科技, 一直播數據平臺

  • 永輝超市子公司-永輝云創,會員電商數據分析平臺 seatunnel 為永輝云創旗下新零售品牌永輝生活提供電商用戶行為數據實時流式與離線 SQL 計算。

  • 水滴籌, 數據平臺 水滴籌在 Yarn 上使用 seatunnel 做實時流式以及定時的離線批處理,每天處理 3~4T 的數據量,最終將數據寫入 Clickhouse。

更多案例參見:?https://interestinglab.github.io/seatunnel-docs/#/zh-cn/v1/case_study/

貢獻觀點和代碼

提交問題和建議:https://github.com/InterestingLab/seatunnel/issues

貢獻代碼:https://github.com/InterestingLab/seatunnel/pulls

開發者

感謝所有開發者

?

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉

下載該資料的人也在下載 下載該資料的人還在閱讀
更多 >

評論

请按住滑块,拖动到最右边
了解新功能

查看更多

广告

下載排行

本周

  1. 1Python從入門到精通背記手冊
  2. 18.77 MB   |  14次下載  |  1 積分
  3. 2SX1308應用電路圖與SX1308升壓電路圖
  4. 0.18 MB   |  8次下載  |  1 積分
  5. 3PC212線性恒流LED驅動芯片中文手冊
  6. 1.08 MB   |  3次下載  |  免費
  7. 4單電源板1875電路圖
  8. 0.06 MB   |  3次下載  |  免費
  9. 5aP89W24 USB語音芯片燒錄器中文手冊
  10. 1.58 MB   |  2次下載  |  免費
  11. 6ACDC茂睿芯MK2687寬供電范圍高效率反激 PWM 控制器
  12. 2.28 MB  |  1次下載  |  免費
  13. 7直流無刷電機SPWM正弦波控制原理(可下載)
  14. 619.62 KB  |  1次下載  |  免費
  15. 8HT7712 4.5V~18V輸入,2.5A同步降壓變換器中文手冊
  16. 1.27 MB   |  1次下載  |  免費

本月

  1. 1DeepSeek從入門到精通
  2. 5.07 MB   |  50次下載  |  免費
  3. 2第十一屆 藍橋杯 單片機設計與開發項目 省賽 程序設計試題及源碼
  4. 90.88KB   |  23次下載  |  3 積分
  5. 3NR-E531TX-XN冰箱說明書
  6. 8.64 MB   |  23次下載  |  免費
  7. 4Python從入門到精通背記手冊
  8. 18.77 MB   |  14次下載  |  1 積分
  9. 5STM32單片機無人機設計
  10. 8.81 MB   |  11次下載  |  免費
  11. 6華為硬件工程師手冊目前最全版本
  12. 1.02 MB   |  10次下載  |  2 積分
  13. 7SX1308應用電路圖與SX1308升壓電路圖
  14. 0.18 MB   |  8次下載  |  1 積分
  15. 8MAX9295電路圖
  16. 0.14 MB   |  6次下載  |  免費

總榜

  1. 1matlab軟件下載入口
  2. 未知  |  935126次下載  |  10 積分
  3. 2開源硬件-PMP21529.1-4 開關降壓/升壓雙向直流/直流轉換器 PCB layout 設計
  4. 1.48MB  |  420063次下載  |  10 積分
  5. 3Altium DXP2002下載入口
  6. 未知  |  233088次下載  |  10 積分
  7. 4電路仿真軟件multisim 10.0免費下載
  8. 340992  |  191377次下載  |  10 積分
  9. 5十天學會AVR單片機與C語言視頻教程 下載
  10. 158M  |  183336次下載  |  10 積分
  11. 6labview8.5下載
  12. 未知  |  81584次下載  |  10 積分
  13. 7Keil工具MDK-Arm免費下載
  14. 0.02 MB  |  73814次下載  |  10 積分
  15. 8LabVIEW 8.6下載
  16. 未知  |  65988次下載  |  10 積分
主站蜘蛛池模板: 网站大全黄免费 | 天天综合久久久网 | 大量真实偷拍情侣视频野战 | 日本xxxx69hd | 欧美性猛交xxx嘿人猛交 | 丁香花的视频免费观看 | 欧美在线观看视频一区 | 欧美视频不卡一区二区三区 | 天堂综合网 | 日本免费色视频 | 久久香蕉国产线看观看精品yw | 狠狠干网站 | 女人张开腿男人桶 | 在线看av的网址 | 中文字幕123区 | 视频一区二区三区在线观看 | 奇米欧美成人综合影院 | 伊人草| 99久久精品久久久久久婷婷 | 久久国产精品免费 | 老师下面很湿很爽很紧 | 亚洲网站免费 | 色多多污网站在线观看 | 免费一级欧美片在线观免看 | 直接观看黄网站免费视频 | 天天操天天干天天爱 | 日本日b视频 | 爱爱免费视频 | 色综合久久五月 | 激情欧美一区二区三区中文字幕 | 欧美18在线| 三级毛片免费观看 | 拍拍拍交性免费视频 | 国产高清一区二区三区 | 国产区精品高清在线观看 | 久久精品美女久久 | 色综合久久88色综合天天 | 欧美一级第一免费高清 | h视频在线观看视频观看 | 人人看人人鲁狠狠高清 | 夜夜骑狠狠干 |