在线观看www成人影院-在线观看www日本免费网站-在线观看www视频-在线观看操-欧美18在线-欧美1级

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

在高并發下怎么保證接口的冪等性?

數據分析與開發 ? 來源:蘇三說技術 ? 作者:蘇三說技術 ? 2021-05-14 10:23 ? 次閱讀

前言

接口冪等性問題,對于開發人員來說,是一個跟語言無關的公共問題。本文分享了一些解決這類問題非常實用的辦法,絕大部分內容我在項目中實踐過的,給有需要的小伙伴一個參考。

不知道你有沒有遇到過這些場景:

有時我們在填寫某些form表單時,保存按鈕不小心快速點了兩次,表中竟然產生了兩條重復的數據,只是id不一樣。

我們在項目中為了解決接口超時問題,通常會引入了重試機制。第一次請求接口超時了,請求方沒能及時獲取返回結果(此時有可能已經成功了),為了避免返回錯誤的結果(這種情況不可能直接返回失敗吧?),于是會對該請求重試幾次,這樣也會產生重復的數據。

mq消費者在讀取消息時,有時候會讀取到重復消息(至于什么原因這里先不說,有興趣的小伙伴,可以找我私聊),如果處理不好,也會產生重復的數據。

沒錯,這些都是冪等性問題。

接口冪等性是指用戶對于同一操作發起的一次請求或者多次請求的結果是一致的,不會因為多次點擊而產生了副作用。

這類問題多發于接口的:

insert操作,這種情況下多次請求,可能會產生重復數據。

update操作,如果只是單純的更新數據,比如:update user set status=1 where id=1,是沒有問題的。如果還有計算,比如:update user set status=status+1 where id=1,這種情況下多次請求,可能會導致數據錯誤。

那么我們要如何保證接口冪等性?本文將會告訴你答案。

1. insert前先select

通常情況下,在保存數據的接口中,我們為了防止產生重復數據,一般會在insert前,先根據name或code字段select一下數據。如果該數據已存在,則執行update操作,如果不存在,才執行 insert操作。

d321e26e-b454-11eb-bf61-12bb97331649.png

該方案可能是我們平時在防止產生重復數據時,使用最多的方案。但是該方案不適用于并發場景,在并發場景中,要配合其他方案一起使用,否則同樣會產生重復數據。我在這里提一下,是為了避免大家踩坑。

2. 加悲觀鎖

在支付場景中,用戶A的賬號余額有150元,想轉出100元,正常情況下用戶A的余額只剩50元。一般情況下,sql是這樣的:

update user amount = amount-100 where id=123;

如果出現多次相同的請求,可能會導致用戶A的余額變成負數。這種情況,用戶A來可能要哭了。于此同時,系統開發人員可能也要哭了,因為這是很嚴重的系統bug。

為了解決這個問題,可以加悲觀鎖,將用戶A的那行數據鎖住,在同一時刻只允許一個請求獲得鎖,更新數據,其他的請求則等待。

通常情況下通過如下sql鎖住單行數據:

select * from user id=123 for update;

具體流程如下:

d33da396-b454-11eb-bf61-12bb97331649.png

具體步驟:

多個請求同時根據id查詢用戶信息

判斷余額是否不足100,如果余額不足,則直接返回余額不足。

如果余額充足,則通過for update再次查詢用戶信息,并且嘗試獲取鎖。

只有第一個請求能獲取到行鎖,其余沒有獲取鎖的請求,則等待下一次獲取鎖的機會。

第一個請求獲取到鎖之后,判斷余額是否不足100,如果余額足夠,則進行update操作。

如果余額不足,說明是重復請求,則直接返回成功。

需要特別注意的是:如果使用的是mysql數據庫,存儲引擎必須用innodb,因為它才支持事務。此外,這里id字段一定要是主鍵或者唯一索引,不然會鎖住整張表。

悲觀鎖需要在同一個事務操作過程中鎖住一行數據,如果事務耗時比較長,會造成大量的請求等待,影響接口性能。 此外,每次請求接口很難保證都有相同的返回值,所以不適合冪等性設計場景,但是在防重場景中是可以的使用的。 在這里順便說一下,防重設計和冪等設計,其實是有區別的。防重設計主要為了避免產生重復數據,對接口返回沒有太多要求。而冪等設計除了避免產生重復數據之外,還要求每次請求都返回一樣的結果。

3. 加樂觀鎖

既然悲觀鎖有性能問題,為了提升接口性能,我們可以使用樂觀鎖。需要在表中增加一個timestamp或者version字段,這里以version字段為例。

在更新數據之前先查詢一下數據:

select id,amount,version from user id=123;

如果數據存在,假設查到的version等于1,再使用id和version字段作為查詢條件更新數據:

update user set amount=amount+100,version=version+1where id=123 and version=1;

更新數據的同時version+1,然后判斷本次update操作的影響行數,如果大于0,則說明本次更新成功,如果等于0,則說明本次更新沒有讓數據變更。

由于第一次請求version等于1是可以成功的,操作成功后version變成2了。這時如果并發的請求過來,再執行相同的sql:

update user setamount=amount+100,version=version+1where id=123 and version=1;

該update操作不會真正更新數據,最終sql的執行結果影響行數是0,因為version已經變成2了,where中的version=1肯定無法滿足條件。但為了保證接口冪等性,接口可以直接返回成功,因為version值已經修改了,那么前面必定已經成功過一次,后面都是重復的請求。

具體流程如下:

d3b2895e-b454-11eb-bf61-12bb97331649.png

具體步驟:

先根據id查詢用戶信息,包含version字段

根據id和version字段值作為where條件的參數,更新用戶信息,同時version+1

判斷操作影響行數,如果影響1行,則說明是一次請求,可以做其他數據操作。

如果影響0行,說明是重復請求,則直接返回成功。

4. 加唯一索引

絕大數情況下,為了防止重復數據的產生,我們都會在表中加唯一索引,這是一個非常簡單,并且有效的方案。

alter table `order` add UNIQUE KEY `un_code` (`code`);

加了唯一索引之后,第一次請求數據可以插入成功。但后面的相同請求,插入數據時會報Duplicate entry '002' for key 'order.un_code異常,表示唯一索引有沖突。

雖說拋異常對數據來說沒有影響,不會造成錯誤數據。但是為了保證接口冪等性,我們需要對該異常進行捕獲,然后返回成功。

如果是java程序需要捕獲:DuplicateKeyException異常,如果使用了spring框架還需要捕獲:MySQLIntegrityConstraintViolationException異常。

具體流程圖如下:

d3c0ca0a-b454-11eb-bf61-12bb97331649.png

具體步驟:

用戶通過瀏覽器發起請求,服務端收集數據。

將該數據插入mysql

判斷是否執行成功,如果成功,則操作其他數據(可能還有其他的業務邏輯)。

如果執行失敗,捕獲唯一索引沖突異常,直接返回成功。

5. 建防重表

有時候表中并非所有的場景都不允許產生重復的數據,只有某些特定場景才不允許。這時候,直接在表中加唯一索引,顯然是不太合適的。

針對這種情況,我們可以通過建防重表來解決問題。

該表可以只包含兩個字段:id 和 唯一索引,唯一索引可以是多個字段比如:name、code等組合起來的唯一標識,例如:susan_0001。

具體流程圖如下:

d3cc0b22-b454-11eb-bf61-12bb97331649.png

具體步驟:

用戶通過瀏覽器發起請求,服務端收集數據。

將該數據插入mysql防重表

判斷是否執行成功,如果成功,則做mysql其他的數據操作(可能還有其他的業務邏輯)。

如果執行失敗,捕獲唯一索引沖突異常,直接返回成功。

需要特別注意的是:防重表和業務表必須在同一個數據庫中,并且操作要在同一個事務中。

6. 根據狀態機

很多時候業務表是有狀態的,比如訂單表中有:1-下單、2-已支付、3-完成、4-撤銷等狀態。如果這些狀態的值是有規律的,按照業務節點正好是從小到大,我們就能通過它來保證接口的冪等性。

假如id=123的訂單狀態是已支付,現在要變成完成狀態。

update `order` set status=3 where id=123 and status=2;

第一次請求時,該訂單的狀態是已支付,值是2,所以該update語句可以正常更新數據,sql執行結果的影響行數是1,訂單狀態變成了3。

后面有相同的請求過來,再執行相同的sql時,由于訂單狀態變成了3,再用status=2作為條件,無法查詢出需要更新的數據,所以最終sql執行結果的影響行數是0,即不會真正的更新數據。但為了保證接口冪等性,影響行數是0時,接口也可以直接返回成功。

具體流程圖如下:

d3d63dae-b454-11eb-bf61-12bb97331649.png

具體步驟:

用戶通過瀏覽器發起請求,服務端收集數據。

根據id和當前狀態作為條件,更新成下一個狀態

判斷操作影響行數,如果影響了1行,說明當前操作成功,可以進行其他數據操作。

如果影響了0行,說明是重復請求,直接返回成功。

主要特別注意的是,該方案僅限于要更新的表有狀態字段,并且剛好要更新狀態字段的這種特殊情況,并非所有場景都適用。

7. 加分布式鎖

其實前面介紹過的加唯一索引或者加防重表,本質是使用了數據庫的分布式鎖,也屬于分布式鎖的一種。但由于數據庫分布式鎖的性能不太好,我們可以改用:redis或zookeeper。

鑒于現在很多公司分布式配置中心改用apollo或nacos,已經很少用zookeeper了,我們以redis為例介紹分布式鎖。

目前主要有三種方式實現redis的分布式鎖:

setNx命令

set命令

Redission框架

每種方案各有利弊,具體實現細節我就不說了,有興趣的朋友可以加我微信找我私聊。

具體流程圖如下:

d3e1dcf4-b454-11eb-bf61-12bb97331649.png

具體步驟:

用戶通過瀏覽器發起請求,服務端會收集數據,并且生成訂單號code作為唯一業務字段。

使用redis的set命令,將該訂單code設置到redis中,同時設置超時時間。

判斷是否設置成功,如果設置成功,說明是第一次請求,則進行數據操作。

如果設置失敗,說明是重復請求,則直接返回成功。

需要特別注意的是:分布式鎖一定要設置一個合理的過期時間,如果設置過短,無法有效的防止重復請求。如果設置過長,可能會浪費redis的存儲空間,需要根據實際業務情況而定。

8. 獲取token

除了上述方案之外,還有最后一種使用token的方案。該方案跟之前的所有方案都有點不一樣,需要兩次請求才能完成一次業務操作。

第一次請求獲取token

第二次請求帶著這個token,完成業務操作。

具體流程圖如下:

第一步,先獲取token。

d4066358-b454-11eb-bf61-12bb97331649.png

第二步,做具體業務操作。

d413fbee-b454-11eb-bf61-12bb97331649.png

具體步驟:

用戶訪問頁面時,瀏覽器自動發起獲取token請求。

服務端生成token,保存到redis中,然后返回給瀏覽器。

用戶通過瀏覽器發起請求時,攜帶該token。

在redis中查詢該token是否存在,如果不存在,說明是第一次請求,做則后續的數據操作。

如果存在,說明是重復請求,則直接返回成功。

在redis中token會在過期時間之后,被自動刪除。

以上方案是針對冪等設計的。

如果是防重設計,流程圖要改改:

d41fb092-b454-11eb-bf61-12bb97331649.png

需要特別注意的是:token必須是全局唯一的。

編輯:jq

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 數據
    +關注

    關注

    8

    文章

    7045

    瀏覽量

    89061
  • MySQL
    +關注

    關注

    1

    文章

    812

    瀏覽量

    26585

原文標題:高并發下如何保證接口的冪等性?

文章出處:【微信號:DBDevs,微信公眾號:數據分析與開發】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏

    評論

    相關推薦

    ADS1299如何保證數據真實

    %時,調整為6倍增益。 后面的AD轉換是接近實時的轉換,調整增益時,如何保障記錄到的調整數據接近真實的連接,即保證數據真實
    發表于 11-26 06:16

    如何保證備自投裝置可靠和穩定性

    備用電源自動投入裝置(簡稱備自投)是一種保證配電系統可靠、連續供電的安全設備,因此它的可靠和穩定性直接決定了系統的供電質量,那么該如何保證備自投裝置的可靠和穩定性呢?今天從專業的角
    的頭像 發表于 10-17 17:44 ?218次閱讀
    如何<b class='flag-5'>保證</b>備自投裝置可靠<b class='flag-5'>性</b>和穩定性

    測試聊并發-入門篇

    服務端接口的性能測試中,我們面臨的挑戰不僅僅是處理單個請求的效率,更在于如何在多用戶同時訪問時保持系統的穩定性和響應速度。并發編程和測試,作為性能測試的核心,對于評估系統負載情況下
    的頭像 發表于 10-15 15:23 ?201次閱讀
    測試聊<b class='flag-5'>并發</b>-入門篇

    全雙工多路并發、低延時數傳解決行業信號擁堵問題

    SA618F30-FD全雙工透傳允許最多8個設備同時與主控制系統進行數據交互,而不造成信道沖突和延時。這對于智能電網、智能停車場、智能交通需要實時傳輸大量數據的場景尤為重要。例如,智能電網中的多個監測設備需要實時將采集的數據上傳至主控系統,全雙工
    的頭像 發表于 09-19 16:34 ?532次閱讀
    全雙工多路<b class='flag-5'>并發</b>、低延時數傳解決行業信號擁堵問題

    并發物聯網云平臺是什么

    并發物聯網云平臺是一種能夠處理大量設備同時連接并進行數據交換的云計算平臺。這種平臺通常被設計用來應對來自數以萬計甚至數十億計的物聯網設備的并發請求,保證系統的穩定性和響應速度。 首先
    的頭像 發表于 08-13 13:50 ?260次閱讀

    并發系統的藝術:如何在流量洪峰中游刃有余

    尤為重要。用戶對在線服務的需求和期望不斷提高,系統的并發處理能力成為衡量其性能和用戶體驗的關鍵指標之一。并發系統不僅僅是大型互聯網企業的專利,對于任何希望市場中占據一席之地的公司來
    的頭像 發表于 08-05 13:43 ?294次閱讀
    <b class='flag-5'>高</b><b class='flag-5'>并發</b>系統的藝術:如何在流量洪峰中游刃有余

    接口測試的概念和重點是什么?

    是確保這些交互按照設計和規范進行,從而保證整個系統的穩定性和可靠接口測試主要關注以下幾個方面: 功能:驗證接口是否能夠按照預期執行其
    的頭像 發表于 05-30 15:08 ?717次閱讀

    FPGA的高速接口應用注意事項

    、LVDS高速接口,FPGA需要實現相應的關鍵技術以支持數據傳輸。 布線與布局 : 時鐘信號布線:FPGA和高速DAC的時鐘信號必須保證正常傳輸和同步,避免布線過長,注意信號阻抗匹配。 信號布局:
    發表于 05-27 16:02

    論RISC-V的MCU中UART接口的重要

    和接收數據。RISC-V的MCU中,UART接口可用于連接各種外部設備,如傳感器、打印機、掃描儀、存儲設備,實現數據的交互和傳輸。 實時和高效
    發表于 05-27 15:52

    光譜遙感植物多樣研究中的應用進展與趨勢

    數據,監測陸地生態系統變化的最有力手段,可以直接提供植被、地形、氣候數據進行后期分析,保證了變量間的觀測尺度平衡。目前,光譜遙感已經廣泛應用于大尺度的生境制圖、植物功能和譜系多樣反演
    的頭像 發表于 04-08 15:32 ?747次閱讀
    <b class='flag-5'>高</b>光譜遙感<b class='flag-5'>在</b>植物多樣<b class='flag-5'>性</b>研究中的應用進展與趨勢

    鴻蒙原生應用開發-ArkTS語言基礎類庫多線程并發概述

    的SharedArrayBuffer對象可以指向同一塊內存,進而達到內存共享的目的。 SharedArrayBuffer對象存儲的數據同時被修改時,需要通過原子操作保證其同步,即下個操作開始之前務必需要等到上個操作已經結束
    發表于 03-28 14:35

    鴻蒙原生應用開發-ArkTS語言基礎類庫多線程并發概述

    的SharedArrayBuffer對象可以指向同一塊內存,進而達到內存共享的目的。 SharedArrayBuffer對象存儲的數據同時被修改時,需要通過原子操作保證其同步,即下個操作開始之前務必需要等到上個操作已經結束
    發表于 03-22 15:40

    探索LabVIEW編程接口原理與實踐

    原來是數學上的概念,在編程領域可以理解為:多次請求某一個資源或執行某一個操作時應該具有唯一同樣結果,也就是說,其任意多次執行對資源
    的頭像 發表于 02-29 10:24 ?628次閱讀
    探索LabVIEW編程<b class='flag-5'>接口</b><b class='flag-5'>冪</b><b class='flag-5'>等</b><b class='flag-5'>性</b>原理與實踐

    為什么要實現校驗 如何實現接口校驗

    前端重復提交表單:填寫一些表格時候,用戶填寫完成提交,很多時候會因網絡波動沒有及時對用戶做出提交成功響應,致使用戶認為沒有成功提交,然后一直點提交按鈕,這時就會發生重復提交表單請求。
    的頭像 發表于 02-20 14:14 ?1213次閱讀

    RocketMQ中各類重復消費的原理淺析

    利用消息中間件,如何保證MQ消費消息的?所謂知其然,才能知其所以然,本文將通過RocketMQ作為例子,來扒一扒什么情況下會導致重復消費。
    的頭像 發表于 01-08 09:29 ?1181次閱讀
    RocketMQ中各類重復消費的原理淺析
    主站蜘蛛池模板: 午夜色图| 亚洲免费观看在线视频| 97爱爱| 欧美三级视频网站| 亚洲欧洲国产精品你懂的| 国产一区国产二区国产三区| 国产成人精品曰本亚洲78| 伊人久久网站| 正在播放一区二区| 干干干日日日| 天天插天天狠| bt天堂在线www种子搜索| 12306影院午夜入口| 午夜大片网| 97影院理论片手机在线观看| 真实子伦视频不卡| 天天色天天干天天射| 国产亚洲午夜精品a一区二区| 色综合天天综久久久噜噜噜久久〔| 色噜噜狠狠成人中文小说| 伊人精品网| 四虎影永久在线观看网址| 农村女人的一级毛片| 国产网红主播chinese| 新版天堂中文资源8在线| 自拍偷拍福利| 日本黄页网址| 免费一级在线| 日日射夜夜| 日日干狠狠操| 色爱综合区五月小说| www激情五月| 亚洲国产一区二区三区a毛片| 一级伦奸视频| 人人爽天天碰天天躁夜夜躁| 国产一级做a爱免费视频| 污视频日本| 欧美性一区| 丁香网五月网| 在线三区| 婷婷开心激情|