在线观看www成人影院-在线观看www日本免费网站-在线观看www视频-在线观看操-欧美18在线-欧美1级

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

Sharding JDBC 實戰:分布式事務處理

jf_ro2CN3Fa ? 來源:CSDN ? 2022-12-22 15:06 ? 次閱讀

  • 1. 什么是全局事務呢?
  • 2. 2pc提交協議
  • 3. XA事務存在的問題
  • 4. CAP理論
  • 5. Sharding-JDBC分布式事務支持
  • 6. 項目地址

在我們使用Sharding JDBC分庫分表的時候,會帶來另外一個問題,就是分布式事務問題,如下圖所示。用戶采購商品業務,整個業務包含3個微服務:

  • 庫存服務: 扣減給定商品的庫存數量。
  • 訂單服務: 根據采購請求生成訂單。
  • 賬戶服務: 用戶賬戶金額扣減。

這三個業務操作應該屬于同一個事務,但是這些數據卻分配在不同的數據庫上,所以沒辦法采用數據庫的事務來保證數據一致性。

d9316416-81b9-11ed-8abf-dac502259ad0.png

這個時候,要解決分布式事務問題,就需要引入全局事務。

1. 什么是全局事務呢?

全局事務是一個DTP模型的事務,所謂DTP模型指的是 X/Open DTP (X/Open Distributed Transaction Processing Reference Model),是 X/Open 這個組織定義的一套分布式事務的標準。

X/Open,即現在的open group,是一個獨立的組織,主要負責制定各種行業技術標準。

官網地址:http://www.opengroup.org/

X/Open組織主要由各大知名公司或者廠商進行支持,這些組織不光遵循X/Open組織定義的行業技術標準,也參與到標準的制定。

X/Open了定義了規范和API接口,由這個廠商進行具體的實現,這個標準提出了使用二階段提交(2PC –Two-Phase-Commit)來保證分布式事務的完整性。后來J2EE也遵循了X/OpenDTP規范,設計并實現了java里的分布式事務編程接口規范-JTA,如下圖所示,表示一個X/Open DTP模型。

d9499f7c-81b9-11ed-8abf-dac502259ad0.png

X/Open DTP模型定義了三個角色和兩個協議,其中三個角色分別如下:

  • AP(Application Program ,表示應用程序,也可以理解成使用DTP模型的程序
  • RM(Resource Manager) ,資源管理器,這個資源可以是數據庫, 應用程序通過資源管理器對資源進行控制,資源管理器必須實現XA定義的接口
  • TM(Transaction Manager) ,表示事務管理器,負責協調和管理全局事務,事務管理器控制整個全局事務,管理事務的生命周期,并且協調資源。

兩個協議分別是:

XA協議: XA 是X/Open DTP定義的資源管理器和事務管理器之間的接口規范,TM用它來通知和協調相關RM事務的開始、結束、提交或回滾。

目前Oracle、Mysql、DB2都提供了對XA的支持;XA接口是雙向的系統接口,在事務管理器(TM ) 以及多個資源管理器之間形成通信的橋梁(XA不能自動 提交)

  • https://dev.mysql.com/doc/refman/8.0/en/xa.html
  • https://dev.mysql.com/doc/refman/8.0/en/xa-statements.html

XA協議的語法,主流的數據庫都支持 XA協議,從而能夠實現跨數據庫事務。

XA{START|BEGIN}xid[JOIN|RESUME]--負責開啟或者恢復一個事務分支,并且管理XID到調用線程
XAENDxid[SUSPEND[FORMIGRATE]]--負責取消當前線程與事務分支的關聯
XAPREPARExid--負責詢問RM是否準備好了提交事務分支
XACOMMITxid[ONEPHASE]--知RM提交事務分支
XAROLLBACKxid--通知RM回滾事務分支
XARECOVER[CONVERTXID]

TX協議: 全局事務管理器與資源管理器之間通信的接口

在分布式系統中,每一個機器節點雖然都能夠明確知道自己在進行事務操作過程中的結果是成功還是失敗,但卻無法直接獲取到其他分布式節點的操作結果。

因此當一個事務操作需要跨越多個分布式節點的時候,為了保持事務處理的ACID特性,就需要引入一個“協調者”(TM)來統一調度所有分布式節點的執行邏輯,這些被調度的分布式節點被稱為AP。TM負責調度AP的行為,并最終決定這些AP是否要把事務真正進行提交到(RM)。

基于 Spring Boot + MyBatis Plus + Vue & Element 實現的后臺管理系統 + 用戶小程序,支持 RBAC 動態權限、多租戶、數據權限、工作流、三方登錄、支付、短信、商城等功能

  • 項目地址:https://github.com/YunaiV/ruoyi-vue-pro
  • 視頻教程:https://doc.iocoder.cn/video/

2. 2pc提交協議

在X/OpenDTP模型中,一個分布式事務所涉及的SQL邏輯都執行完成,并到了(RM)要最后提交事務的關鍵時刻,為了避免分布式系統所固有的不可靠性導致提交事務意外失敗,TM 果斷決定實施兩步走的方案,這個就稱為二階提交,如下圖所示。

二階段提交,是計算機網絡尤其是在數據庫領域內,為了使基于分布式系統架構下的所有節點在進行事務處理過程中能夠保持原子性和一致性而設計的一種算法。通常,二階段提交協議也被認為是一種一致性協議,用來保證分布式系統數據的一致性。

目前,絕大部分的關系型數據庫都是采用二階段提交協議來完成分布式事務處理的,利用該協議能夠非常方便地完成所有分布式事務AP的協調,統一決定事務的提交或回滾,從而能夠有效保證分布式數據一致性,因此2pc也被廣泛運用在許多分布式系統中。

d973a128-81b9-11ed-8abf-dac502259ad0.png

基于 Spring Cloud Alibaba + Gateway + Nacos + RocketMQ + Vue & Element 實現的后臺管理系統 + 用戶小程序,支持 RBAC 動態權限、多租戶、數據權限、工作流、三方登錄、支付、短信、商城等功能

  • 項目地址:https://github.com/YunaiV/yudao-cloud
  • 視頻教程:https://doc.iocoder.cn/video/

3. XA事務存在的問題

上述基于XA協議的全局事務,是屬于強一致性事務,因為在全局事務中,只要有任何一個RM出現異常,都會導致全局事務回滾。同時,本地事務在Prepare階段鎖定資源時,如果有其他事務要要修改相同的數據,就必須要等待前面的事務完成,這本身是無可厚非的設計,但是由于多個RM節點是跨網絡,一旦出現網絡延遲,就導致該事務一直占用資源使得整體性能下降。

另外,在XA COMMIT階段,如果其中一個RM因為網絡超時沒有收到數據提交的指令,會導致數據不一致,為了解決這個問題,很多開源分布式事務框架都會提供重試機制來保證數據一致性。

4. CAP理論

說到強一致性的問題,必然要提到CAP理論。

CAP的含義:

  • C:Consistency 一致性 同一數據的多個副本是否實時相同。
  • A:Availability 可用性 可用性:一定時間內 & 系統返回一個明確的結果 則稱為該系統可用。
  • P:Partition tolerance 分區容錯性 將同一服務分布在多個系統中,從而保證某一個系統宕機,仍然有其他系統提供相同的服務。

CAP理論告訴我們,在分布式系統中,C、A、P三個條件中我們最多只能選擇兩個。那么問題來了,究竟選擇哪兩個條件較為合適呢?

對于一個業務系統來說,分區容錯性是必須要滿足的條件。業務系統之所以使用分布式系統,主要原因有兩個:

  • 提升整體性能 當業務量猛增,單個服務器已經無法滿足我們的業務需求的時候,就需要使用分布式系統,使用多個節點提供相同的功能,從而整體上提升系統的性能,這就是使用分布式系統的第一個原因。
  • 實現分區容錯性 單一節點 或 多個節點處于相同的網絡環境下,那么會存在一定的風險,萬一該機房斷電、該地區發生自然災害,那么業務系統就全面癱瘓了。為了防止這一問題,采用分布式系統,將多個子系統分布在不同的地域、不同的機房中,從而保證系統高可用性。

所以我們需要根據自己的業務需求,選擇采取CP還是AP。

5. Sharding-JDBC分布式事務支持

了解了X/Open DTP模型的全局事務解決方案,就必然需要一個成熟的技術中間件來簡化我們對于分布式事務的開發邏輯,而Sharding-JDBC提供了分布式事務解決方案。

Sharding-JDBC支持以下四種事務模型,實際上這些分布式事務模式都是集成開源的事務組件做的集成。

  • Atomikos事務
  • Narayana事務
  • Bitronix事務
  • Seata事務

Apache ShardingSphere 默認的 XA 事務管理器為 Atomikos,下面我們通過Atomikos來配置一個分布式事務的使用模型。

5.1 Atomikos事務

Atomikos是為Java平臺提供的開源的事務管理工具,它包含收費和開源兩個版本,開源版本基本能滿足我們的需求。

Atomikos實現了JTA/XA規范中的事務管理器(Transaction Manager)應該實現的相關接口。

JTA,即Java Transaction API,JTA允許應用程序執行分布式事務處理——在兩個或多個網絡計算機資源上訪問并且更新數據,JDBC驅動程序的JTA支持極大地增強了數據訪問能力。

  • TransactionManager : 常用方法,可以開啟、回滾、獲取事務。begin(),rollback()…
  • XAResouce : 資源管理,通過Session來進行事務管理。commit(xid)…
  • XID : 每一個事務都分配一個特定的XID

JTA是如何實現多數據源的事務管理呢?

主要的原理是兩階段提交,以上面的請求業務為例,當整個業務完成了之后只是第一階段提交,在第二階段提交之前會檢查其他所有事務是否已經提交,如果前面出現了錯誤或是沒有提交,那么第二階段就不會提交,而是直接rollback操作,這樣所有的事務都會做Rollback操作。

5.2 實戰

5.2.1 項目搭建

使用IDEA直接創建Spring boot 項目即可。

5.2.2 依賴

由于使用XA事務,所以除了Sharding依賴外還需要引入事務依賴。

<dependency>
<groupId>org.apache.shardingspheregroupId>
<artifactId>shardingsphere-jdbc-core-spring-boot-starterartifactId>
<version>5.0.0-alphaversion>
dependency>
<dependency>
<groupId>com.zaxxergroupId>
<artifactId>HikariCPartifactId>
<version>3.4.2version>
dependency>
<dependency>
<groupId>org.freemarkergroupId>
<artifactId>freemarkerartifactId>
dependency>

<dependency>
<groupId>org.apache.shardingspheregroupId>
<artifactId>shardingsphere-transaction-xa-coreartifactId>
<version>5.0.0-alphaversion>
dependency>

5.2.3 配置

接下來就是配置相關數據庫連接信息以及分片規則;

在這里主要做的是創建了兩個數據源(數據源最好設置兩臺服務器的數據庫)以及設置好了相應的分庫規則。

server.port=8080
spring.mvc.view.prefix=classpath:/templates/
spring.mvc.view.suffix=.html

spring.shardingsphere.props.sql-show=true
spring.shardingsphere.datasource.names="ds-0,ds-1"
spring.shardingsphere.datasource.common.type=com.zaxxer.hikari.HikariDataSource
spring.shardingsphere.datasource.common.driver-class-name=com.mysql.jdbc.Driver

spring.shardingsphere.datasource.ds-0.jdbc-url=jdbc//localhost:3306/shard01?serverTimezone=UTC&useSSL=false&useUnicode=true&characterEncoding=UTF-8
spring.shardingsphere.datasource.ds-0.username=root
spring.shardingsphere.datasource.ds-0.password=123456

spring.shardingsphere.datasource.ds-1.jdbc-url=jdbc//localhost:3306/shard02?serverTimezone=UTC&useSSL=false&useUnicode=true&characterEncoding=UTF-8
spring.shardingsphere.datasource.ds-1.username=root
spring.shardingsphere.datasource.ds-1.password=123456

spring.shardingsphere.rules.sharding.default-database-strategy.standard.sharding-column=user_id
spring.shardingsphere.rules.sharding.default-database-strategy.standard.sharding-algorithm-name=database-inline
spring.shardingsphere.rules.sharding.sharding-algorithms.database-inline.type=INLINE
spring.shardingsphere.rules.sharding.sharding-algorithms.database-inline.props.algorithm-expression=ds-$->{user_id % 2}

spring.shardingsphere.rules.sharding.tables.t_order.key-generate-strategy.column=order_id
spring.shardingsphere.rules.sharding.tables.t_order.key-generate-strategy.key-generator-name=snowflake

spring.shardingsphere.rules.sharding.key-generators.snowflake.type=SNOWFLAKE
spring.shardingsphere.rules.sharding.key-generators.snowflake.props.worker-id=123

5.2.4 事務一致性注解

Sharding jdbc解決事務一致性可以直接通過@ShardingTransactionType(TransactionType.XA)注解實現,我們只需要在對應的方法上加上即可。

比如下圖,由于我們在配置文件中是通過user_id進行分庫的,然后我們在這里通過隨機數,會根據分片規則往兩個數據庫中插入數據。

當i=4的時候,我們人為的制造異常,如果我們不采用全局事務的話,則之前插入的數據還會再數據庫中。所以這個時候我們只需要加上@ShardingTransactionType(TransactionType.XA)注解即可,XA屬于強一致性。

d999c59c-81b9-11ed-8abf-dac502259ad0.png

6. 項目地址

https://gitee.com/cl1429745331/sharding-jdbc-demo



審核編輯 :李倩


聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 數據庫
    +關注

    關注

    7

    文章

    3799

    瀏覽量

    64396
  • 分布式
    +關注

    關注

    1

    文章

    899

    瀏覽量

    74509
  • JDBC
    +關注

    關注

    0

    文章

    25

    瀏覽量

    13408

原文標題:Sharding JDBC 實戰:分布式事務處理

文章出處:【微信號:芋道源碼,微信公眾號:芋道源碼】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏

    評論

    相關推薦

    HarmonyOS Next 應用元服務開發-分布式數據對象遷移數據權限與基礎數據

    === AbilityConstant.LaunchReason.CONTINUATION) { // ... // 調用封裝好的分布式數據對象處理函數 this.handleDistributedData(want
    發表于 12-24 09:40

    分布式光纖測溫解決方案

    分布式光纖測溫解決方案
    的頭像 發表于 11-12 01:02 ?150次閱讀
    <b class='flag-5'>分布式</b>光纖測溫解決方案

    Spring事務實現原理

    作者:京東零售 范錫軍 1、引言 spring的spring-tx模塊提供了對事務管理支持,使用spring事務可以讓我們從復雜的事務處理中得到解脫,無需要去處理獲得連接、關閉連接、
    的頭像 發表于 11-08 10:10 ?826次閱讀
    Spring<b class='flag-5'>事務</b>實現原理

    分布式光纖測溫是什么?應用領域是?

    時,該處的散射光特性會受到影響。通過高速信號采集與數據處理技術,可以準確地定位發生溫度變化的位置,并給出實時的溫度信息。簡而言之,分布式光纖測溫技術將整條傳輸光纖作為傳感器,光纖上的每一點都兼具“傳”和“感”
    的頭像 發表于 10-24 15:30 ?375次閱讀
    <b class='flag-5'>分布式</b>光纖測溫是什么?應用領域是?

    分布式功能安全的創新與突破

    近日,Imagination推出全新性能最高且具有高等級功能安全性的汽車GPUIP——ImaginationDXSGPU,并且是Imagination第一款帶有“分布式安全機制”的處理器。下載白皮書
    的頭像 發表于 09-20 08:09 ?241次閱讀
    <b class='flag-5'>分布式</b>功能安全的創新與突破

    HarmonyOS實戰案例:【分布式賬本】

    Demo基于Open Harmony系統使用ETS語言進行編寫,本Demo主要通過設備認證、分布式拉起、分布式數據管理等功能來實現。
    的頭像 發表于 04-12 16:40 ?1333次閱讀
    HarmonyOS<b class='flag-5'>實戰</b>案例:【<b class='flag-5'>分布式</b>賬本】

    鴻蒙HarmonyOS開發實戰:【分布式音樂播放】

    本示例使用fileIo獲取指定音頻文件,并通過AudioPlayer完成了音樂的播放完成了基本的音樂播放、暫停、上一曲、下一曲功能;并使用DeviceManager完成了分布式設備列表的顯示和分布式能力完成了音樂播放狀態的跨設備分享。
    的頭像 發表于 04-10 17:51 ?874次閱讀
    鴻蒙HarmonyOS開發<b class='flag-5'>實戰</b>:【<b class='flag-5'>分布式</b>音樂播放】

    智慧物流中心建設:訊維分布式智慧終端技術的核心作用

    在智慧物流中心的建設中,訊維分布式終端技術發揮著核心作用,主要體現在以下幾個方面: 首先,訊維分布式終端技術為智慧物流中心提供了高效、穩定的數據處理和分析能力。物流中心每天都需要處理
    的頭像 發表于 04-08 15:29 ?314次閱讀

    智慧物流中心建設:分布式智慧終端技術的核心作用

    在智慧物流中心的建設中,訊維分布式終端技術發揮著核心作用,主要體現在以下幾個方面: 首先,訊維分布式終端技術為智慧物流中心提供了高效、穩定的數據處理和分析能力。物流中心每天都需要處理
    的頭像 發表于 04-07 15:29 ?345次閱讀

    鴻蒙OS 分布式任務調度

    鴻蒙OS 分布式任務調度概述 在 HarmonyO S中,分布式任務調度平臺對搭載 HarmonyOS 的多設備構筑的“超級虛擬終端”提供統一的組件管理能力,為應用定義統一的能力基線、接口
    的頭像 發表于 01-29 16:50 ?500次閱讀

    分布式大屏控制系統的工作原理

    分布式大屏控制系統是一種基于分布式計算、云計算和大數據技術的控制系統,具有高效、穩定、靈活的特點。該系統通過將各個子系統進行模塊化設計,使得各個子系統可以相互協作,實現信息的實時共享和處理的協同完成
    的頭像 發表于 01-29 14:24 ?761次閱讀

    深入了解分布式智慧終端:定義、應用與優勢

    分布式智慧終端是一種新型的智能設備,它基于分布式技術,由多個節點組成,每個節點都可以進行數據處理和通信,相互之間具有一定的自治性。這種終端設備具有多個優點和應用場景。 ? 首先,分布式
    的頭像 發表于 01-24 14:44 ?754次閱讀

    什么是分布式架構?

    分布式架構是指將一個系統或應用拆分成多個獨立的節點,這些節點通過網絡連接進行通信和協作,以實現共同完成任務的一種架構模式。這種架構模式旨在提高系統的可擴展性、可靠性和性能表現。 一、分布式架構的特點
    的頭像 發表于 01-12 15:04 ?1244次閱讀
    什么是<b class='flag-5'>分布式</b>架構?

    分布式節點服務器是什么?

    部署在不同的服務器上進行處理和存儲,以實現負載均衡和容錯處理。這種架構模式旨在提高系統的可擴展性、可靠性和性能表現,以滿足大規模數據處理、復雜任務處理等需求。
    的頭像 發表于 01-12 15:04 ?746次閱讀
    <b class='flag-5'>分布式</b>節點服務器是什么?

    騰訊科技獲區塊鏈網絡事務處理專利

    據專利摘要介紹,此方法涉及的步驟可概括如下:收集待處理事務數據集的統計信息,此數據集含有多個接收并待處理事務數據;制定獲取區塊鏈網絡對事務數據的打包標準;如果統計信息符合打包要求,將
    的頭像 發表于 01-08 11:36 ?566次閱讀
    主站蜘蛛池模板: 亚洲天堂二区| 亚洲国产高清精品线久久| 亚洲欧美7777| 久久综合九色综合网站| 手机看片日本| 性xxxxx| 日韩毛片视频| 一丝不遮视频免费观看| 日本高清在线3344www| 午夜69成人做爰视频网站 | 国产精品激情综合久久| 久操视频免费看| 综合激情六月| 激情6月丁香婷婷色综合| 国产牛牛| 五月综合色婷婷影院在线观看| 国产激爽大片在线播放| 性夜影院爽黄a爽免费看网站| 五月天情网| 中文字幕天天干| 亚洲 欧洲 日产 韩国在线| 欧美三级不卡在线观线看高清| 天天操天天擦| 在线天堂中文字幕| 国产老师的丝袜在线看| 亚洲精品91大神在线观看| 色多多网| 日干夜干天天干| 亚洲入口无毒网址你懂的| a毛片基地免费全部香蕉| 男啪女视频免费观看网站| 日本三级高清| 欧美黑人三级| 婷婷色在线视频| 天天添| 一级做a爰片久久毛片免费看| 成人精品亚洲人成在线| 在线观看中文字幕一区| 久久婷婷综合中文字幕| 99久免费精品视频在线观看2| 三级特黄视频|