為什么我們需要 seatunnel

seatunnel 盡所能為您解決海量數據同步中可能遇到的問題：

• 數據丟失與重復
• 任務堆積與延遲
• 吞吐量低
• 應用到生產環境周期長
• 缺少應用運行狀態監控

seatunnel 使用場景

• 海量數據同步
• 海量數據集成
• 海量數據的 ETL
• 海量數據聚合
• 多源數據處理

seatunnel 的特性

• 簡單易用，靈活配置，無需開發
• 實時流式處理
• 離線多源數據分析
• 高性能、海量數據處理能力
• 模塊化和插件化，易于擴展
• 支持利用 SQL 做數據處理和聚合
• 支持 Spark Structured Streaming
• 支持 Spark 2.x

seatunnel 的工作流程

                         Input[數據源輸入] -> Filter[數據處理] -> Output[結果輸出]

多個 Filter 構建了數據處理的 Pipeline，滿足各種各樣的數據處理需求，如果您熟悉 SQL，也可以直接通過 SQL 構建數據處理的 Pipeline，簡單高效。目前 seatunnel 支持的Filter列表, 仍然在不斷擴充中。您也可以開發自己的數據處理插件，整個系統是易于擴展的。

seatunnel 支持的插件

• Input plugin

Fake, File, Hdfs, Kafka, S3, Socket, 自行開發的 Input plugin

• Filter plugin

Add, Checksum, Convert, Date, Drop, Grok, Json, Kv, Lowercase, Remove, Rename, Repartition, Replace, Sample, Split, Sql, Table, Truncate, Uppercase, Uuid, 自行開發的Filter plugin

• Output plugin

Elasticsearch, File, Hdfs, Jdbc, Kafka, Mysql, S3, Stdout, 自行開發的 Output plugin

環境依賴

1. java 運行環境，java >= 8

2. 如果您要在集群環境中運行 seatunnel，那么需要以下 Spark 集群環境的任意一種：

• Spark on Yarn
• Spark Standalone

如果您的數據量較小或者只是做功能驗證，也可以僅使用?local?模式啟動，無需集群環境，seatunnel 支持單機運行。 注: seatunnel 2.0 支持 Spark 和 Flink 上運行

下載

可以直接運行的軟件包下載地址：https://github.com/InterestingLab/seatunnel/releases

快速入門

快速入門：https://interestinglab.github.io/seatunnel-docs/#/zh-cn/v1/quick-start

關于 seatunnel 的詳細文檔

生產應用案例

• 微博, 增值業務部數據平臺 微博某業務有數百個實時流式計算任務使用內部定制版 seatunnel，以及其子項目Guardian做 seatunnel On Yarn 的任務監控。

• 新浪, 大數據運維分析平臺 新浪運維數據分析平臺使用 seatunnel 為新浪新聞，CDN 等服務做運維大數據的實時和離線分析，并寫入 Clickhouse。

• 搜狗，搜狗奇點系統 搜狗奇點系統使用 seatunnel 作為 ETL 工具, 幫助建立實時數倉體系

• 趣頭條，趣頭條數據中心 趣頭條數據中心，使用 seatunnel 支撐 mysql to hive 的離線 ETL 任務、實時 hive to clickhouse 的 backfill 技術支撐，很好的 cover 離線、實時大部分任務場景。

• 一下科技, 一直播數據平臺

• 永輝超市子公司-永輝云創，會員電商數據分析平臺 seatunnel 為永輝云創旗下新零售品牌永輝生活提供電商用戶行為數據實時流式與離線 SQL 計算。

• 水滴籌, 數據平臺 水滴籌在 Yarn 上使用 seatunnel 做實時流式以及定時的離線批處理，每天處理 3～4T 的數據量，最終將數據寫入 Clickhouse。

更多案例參見:?https://interestinglab.github.io/seatunnel-docs/#/zh-cn/v1/case_study/

貢獻觀點和代碼

提交問題和建議：https://github.com/InterestingLab/seatunnel/issues

貢獻代碼：https://github.com/InterestingLab/seatunnel/pulls

開發者

感謝所有開發者