在线观看www成人影院-在线观看www日本免费网站-在线观看www视频-在线观看操-欧美18在线-欧美1级

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

RedisJson橫空出世,比ES快7倍,驚爆了!

jf_ro2CN3Fa ? 來源:芋道源碼 ? 2023-07-11 15:09 ? 次閱讀

一、概述

近期官網給出了RedisJson(RedisSearch)的性能測試報告,可謂碾壓其他NoSQL,下面是核心的報告內容,先上結論:

  • 對于隔離寫入(isolated writes),RedisJSON 比 MongoDB 快 5.4 倍,比 ElasticSearch 快 200 倍以上。
  • 對于隔離讀取(isolated reads),RedisJSON 比 MongoDB 快 12.7 倍,比 ElasticSearch 快 500 倍以上。

在混合工作負載場景中,實時更新不會影響 RedisJSON 的搜索和讀取性能,而 ElasticSearch 會受到影響。以下是具體的數據:

  • RedisJSON* 支持的操作數/秒比 MongoDB 高約 50 倍,比 ElasticSearch 高 7 倍/秒。
  • RedisJSON* 的延遲比 MongoDB 低約 90 倍,比 ElasticSearch 低 23.7 倍。

此外,RedisJSON 的讀取、寫入和負載搜索延遲在更高的百分位數中遠比 ElasticSearch 和 MongoDB 穩定。當增加寫入比率時,RedisJSON 還能處理越來越高的整體吞吐量,而當寫入比率增加時,ElasticSearch 會降低它可以處理的整體吞吐量。

基于 Spring Boot + MyBatis Plus + Vue & Element 實現的后臺管理系統 + 用戶小程序,支持 RBAC 動態權限、多租戶、數據權限、工作流、三方登錄、支付、短信、商城等功能

  • 項目地址:https://gitee.com/zhijiantianya/ruoyi-vue-pro
  • 視頻教程:https://doc.iocoder.cn/video/

二、查詢引擎

如前所述,reresearch和RedisJSON的開發非常強調性能。對于每一個版本,我們都想確保開發者可以體驗到穩定和產品。為此,我們我們給出了一些分析工具、探測器來進行性能分析。

并且,我們每次發行新版本時時,也在不斷的提升性能。特別是對于reresearch來說,2.2版本在加載和查詢性能上都比2.0快了1.7倍,同時還改進了吞吐量和數據加載的延遲。

2.1 加載優化

接下來的兩個圖顯示了運行紐約市出租車基準測試的運行結果

d6e52868-1f8a-11ee-962d-dac502259ad0.pngd70d502c-1f8a-11ee-962d-dac502259ad0.png

從這些圖表中可以看出,每一個reresearch的新版本都有一個實質性的性能改進。

2.2 全文搜索優化

為了評估搜索性能,我們索引了590萬篇維基百科摘要。然后我們運行一個全文搜索查詢面板,得到的結果如下圖所示。

d7321056-1f8a-11ee-962d-dac502259ad0.pngd76e0e58-1f8a-11ee-962d-dac502259ad0.png

從上面的圖可以看出,通過從v2.0遷移到v2.2,同樣的數據,在寫、讀、搜索(延遲圖)方面都有了大幅度的改進,從而提高了運行Search和JSON的可實現吞吐量。

基于 Spring Cloud Alibaba + Gateway + Nacos + RocketMQ + Vue & Element 實現的后臺管理系統 + 用戶小程序,支持 RBAC 動態權限、多租戶、數據權限、工作流、三方登錄、支付、短信、商城等功能

  • 項目地址:https://gitee.com/zhijiantianya/yudao-cloud
  • 視頻教程:https://doc.iocoder.cn/video/

三、和其他框架的對比

為了評估RedisJSON的性能,我們決定將它與MongoDB和ElasticSearch進行比較。為了方便對比,我們會從文檔存儲、本地可用、云中可用、專業支持和提供可伸縮性、性能等方面進行全方位的對比。

我們使用了完善的YCSB標準來進行測試對比,它能夠基于常見的工作負載來評估不同的產品,測量延遲、吞吐量曲線直到飽和。除了CRUD YCSB操作之外,我們還添加了一個兩個字的搜索操作,專門幫助開發人員、系統架構師和DevOps從業者找到適合他們用例的最佳搜索引擎。

3.1 基準測試

此次測試,我們使用了如下的一些軟件環境:

  • MongoDB v5.0.3
  • ElasticSearch 7.15
  • RedisJSON (RediSearch 2.2+RedisJSON 2.0)

此次是在Amazon Web Services 實例上運行基準測試,這三種解決方案都是分布式數據庫,并且最常用于生產中的分布式方式。這就是為什么所有產品都使用相同的通用 m5d.8xlarge VM 和本地 SSD,并且每個設置由四個 VM 組成:一個客戶端 + 三個數據庫服務器。基準測試客戶端和數據庫服務器都在處于最佳網絡條件下的單獨 m5d.8xlarge 實例上運行,將實例緊密地打包在一個可用區內,實現穩態分析所需的低延遲和穩定的網絡性能。

測試是在三節點集群上執行的,部署細節如下:

  • MongoDB 5.0.3:三成員副本集(Primary-Secondary-Secondary)。副本用于增加讀取容量并允許更低的延遲讀取。為了支持對字符串內容的文本搜索查詢,在搜索字段上創建了一個文本索引。
  • ElasticSearch 7.15:15 個分片設置,啟用查詢緩存,并為 2 個基于 NVMe 的本地 SSD 提供 RAID 0 陣列,以實現更高級別的文件系統相關彈性操作性能。這 15 個分片為我們為 Elastic 所做的所有分片變體提供了可實現的最佳性能結果。
  • RedisJSON*:RediSearch 2.2 and RedisJSON 2.0: OSS Redis Cluster v6.2.6,有27個分片,均勻分布在三個節點上,加載了RediSearch 2.2和RedisJSON 2.0 OSS模塊。

除了這個主要的基準/性能分析場景之外,我們還在網絡、內存、CPU 和 I/O 上運行基準基準測試,以了解底層網絡和虛擬機特性。在整個基準測試集期間,網絡性能保持在帶寬和 PPS 的測量限制以下,以產生穩定穩定的超低延遲網絡傳輸(每個數據包 p99 < 100micros)。

接下來,我們將從提供單獨的操作性能 [100% 寫入] 和 [100% 讀取] 開始,并以一組混合工作負載結束以模擬現實工作中的應用程序場景。

3.2 100% 寫入基準

如下圖所示,該基準測試表明,RedisJSON* 的攝取速度比 ElasticSearch 快 8.8 倍,比 MongoDB 快 1.8 倍,同時保持每個操作的亞毫秒級延遲。值得注意的是,99% 的 Redis 請求在不到 1.5 毫秒的時間內完成。

此外,RedisJSON* 是我們測試過的唯一一種在每次寫入時自動更新其索引的解決方案。這意味著任何后續的搜索查詢都會找到更新的文檔。ElasticSearch 沒有這種細粒度的容量;它將攝取的文檔放在一個內部隊列中,并且該隊列由服務器(不受客戶端控制)每 N 個文檔或每 M 秒刷新一次。他們稱這種方法為近實時 (NRT)。Apache Lucene 庫(它實現了 ElasticSearch 的全文功能)旨在快速搜索,但索引過程復雜且繁重。如這些 WRITE 基準測試圖表所示,由于這種“設計”限制,ElasticSearch 付出了巨大的代價。

結合延遲和吞吐量改進,RedisJSON* 比 Mongodb 快 5.4 倍,比 ElasticSearch 快 200 倍以上,用于隔離寫入。

d791c74e-1f8a-11ee-962d-dac502259ad0.pngd7b9e3be-1f8a-11ee-962d-dac502259ad0.png

3.3 100% 讀取基準

與寫類似,我們可以觀察到 Redis 在讀取方面表現最佳,允許讀取比 ElasticSearch 多 15.8 倍,比 MongoDB 多 2.8 倍,同時在整個延遲范圍內保持亞毫秒級延遲,如下表所示。

在結合延遲和吞吐量改進時,RedisJSON* 比 MongoDB 快 12.7 倍,比 ElasticSearch 快 500 倍以上,用于隔離讀取。

d7e13176-1f8a-11ee-962d-dac502259ad0.pngd8030a62-1f8a-11ee-962d-dac502259ad0.png

3.4 混合讀/寫/搜索基準

實際應用程序工作負載幾乎總是讀取、寫入和搜索查詢的混合。因此,在接近飽和時了解由此產生的混合工作負載吞吐量曲線更為重要。

作為起點,我們考慮了 65% 搜索和 35% 讀取的場景,這代表了一個常見的現實世界場景,在該場景中,我們執行的搜索/查詢比直接讀取更多。65% 搜索、35% 讀取和 0% 更新的初始組合也導致 ElasticSearch 和 RedisJSON* 的吞吐量相等。盡管如此,YCSB 工作負載允許您指定搜索/讀取/更新之間的比率以滿足您的要求。

“搜索性能”可以指不同類型的搜索,例如“匹配查詢搜索”、“分面搜索”、“模糊搜索”等等。我們所做的最初向 YCSB 增加的搜索工作負載僅專注于“匹配查詢搜索”,模仿分頁的兩詞查詢匹配,按數字字段排序。“匹配查詢搜索”是任何啟用搜索功能的供應商進行搜索分析的起點,因此,每個支持 YCSB 的數據庫/驅動程序都應該能夠在其基準驅動程序上輕松啟用此功能。

在每個測試變體中,我們添加了 10% 的寫入,以按相同的比例混合和減少搜索和讀取百分比。這些測試變體的目標是了解每個產品如何處理數據的實時更新,我們認為這是事實上的架構目標,即寫入立即提交到索引,讀取始終是最新的。

d853102a-1f8a-11ee-962d-dac502259ad0.png

正如您在圖表中所看到的,在 RedisJSON* 上不斷更新數據和增加寫入比例不會影響讀取或搜索性能并提高整體吞吐量。對數據產生的更新越多,對 ElasticSearch 性能的影響就越大,最終導致讀取和搜索速度變慢。

ElasticSearch 可實現的 ops/sec 從 0% 更新到 50% 的演變,我們注意到它在 0% 更新基準上以 10k Ops/sec 開始,并受到嚴重影響,減少了 5 倍的 ops/sec,在50% 更新率基準。

與我們在上述單個操作基準中觀察到的類似,MongoDB 搜索性能比 RedisJSON* 和 ElasticSearch 慢兩個數量級,MongoDB 的最大總吞吐量為 424 ops/sec,而 RedisJSON* 為 16K 最大 ops/sec。

最后,對于混合工作負載,RedisJSON* 支持的操作數/秒比 MongoDB 高 50.8 倍,比 ElasticSearch 高 7 倍。如果我們將分析集中在混合工作負載期間的每種操作類型的延遲上,與 MongoDB 相比,RedisJSON* 可將延遲降低多達 91 倍,與 ElasticSearch 相比,延遲降低 23.7 倍。

3.5 完整延遲分析

與測量每個解決方案飽和之前產生的吞吐量曲線類似,在所有解決方案通用的可持續負載下進行完整的延遲分析也很重要。這將使您能夠了解對于所有已發布操作在延遲方面最穩定的解決方案是什么,以及哪種解決方案不易受到應用程序邏輯引發的延遲峰值的影響(例如,彈性查詢緩存未命中)。如果您想更深入地了解我們為什么要這樣做,Gil Tene 提供了延遲測量注意事項的深入概述。

查看上一節的吞吐量圖表,并關注 10% 更新基準以包含所有三個操作,我們做了兩種不同的可持續負載變化:

  • 250 ops/sec:比較 MongoDB、ElasticSearch 和 RedisJSON*,低于 MongoDB 的壓力率。
  • 6000 ops/sec:比較 ElasticSearch 和 RedisJSON*,低于 ElasticSearch 壓力率。

3.5.1 MongoDB 與 ElasticSearch 與 RedisJSON* 的延遲分析

在下面的第一張圖片中,展示了從 p0 到 p9999 的百分位數,很明顯,在每次搜索時,MongoDB 的表現都遠遠優于 Elastic 和 RedisJSON。此外,關注 ElasticSearch 與 RedisJSON,很明顯,ElasticSearch 容易受到較高延遲的影響,這很可能是由垃圾收集 (GC) 觸發器或搜索查詢緩存未命中引起的。RedisJSON* 的 p99 低于 2.61 毫秒,而 ElasticSearch p999 搜索達到 10.28 毫秒。

d882e818-1f8a-11ee-962d-dac502259ad0.png

在下面的讀取和更新圖表中,我們可以看到 RedisJSON* 在所有延遲范圍內表現最佳,其次是 MongoDB 和 ElasticSearch。

RedisJSON* 是在所有分析的延遲百分位數上保持亞毫秒級延遲的唯一解決方案。在 p99,RedisJSON* 的延遲為 0.23 毫秒,其次是 MongoDB 的 5.01 毫秒和 ElasticSearch 的 10.49 毫秒。

d8b5c332-1f8a-11ee-962d-dac502259ad0.png

在寫入時,MongoDB 和 RedisJSON* 即使在 p99 時也能保持亞毫秒級的延遲。另一方面,ElasticSearch 顯示出高尾延遲(> 10 毫秒),這很可能與導致 ElasticSearch 搜索峰值的原因 (GC) 相同。

d8e1c1a8-1f8a-11ee-962d-dac502259ad0.png

3.5.2 ElasticSearch 與 RedisJSON 的延遲分析

僅關注 ElasticSearch 和 RedisJSON,在保持 6K ops/sec 的可持續負載的同時,我們可以觀察到 Elastic 和 RedisJSON 的讀取和更新模式與以 250 ops/sec 進行的分析保持一致。RedisJSON* 是更穩定的解決方案,其 p99 讀取時間為 3 毫秒,而 Elastic 的 p99 讀取時間為 162 毫秒。

在更新時,RedisJSON* 保留了 3 毫秒的 p99,而 ElasticSearch 則保留了 167 毫秒的 p99。

d904f33a-1f8a-11ee-962d-dac502259ad0.pngd925b264-1f8a-11ee-962d-dac502259ad0.png

專注于搜索操作,ElasticSearch 和 RedisJSON* 以個位數 p50 延遲開始(p50 RedisJSON* 為 1.13 毫秒,而 ElasticSearch 的 p50 為 2.79 毫秒),其中 ElasticSearch 付出了 GC 觸發和查詢緩存未命中的代價在較高的百分位數上,在 >= p90 百分位數上清晰可見。

RedisJSON* 將 p99 保持在 33 毫秒以下,而 ElasticSearch 上的 p99 百分位數為 163 毫秒,高出 5 倍。

d94aeb56-1f8a-11ee-962d-dac502259ad0.png

四、如何開始

開始使用RedisJSON*,我們可以創建一個免費的數據庫在所有地區的Redis云,或者使用RedisJSON docker容器。我們已經更新了redisjson的文檔,以方便開發者快速的開始使用查詢和搜索功能。此外,正如我們在最近的客戶機庫聲明中提到的,以下是幾種流行語言的客戶機驅動程序,可以幫助您快速入門。

RedisJSON*
Node.js node-redis
Java Jedis
.NET NRedisJSON NRediSearch
Python redis-py



聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 探測器
    +關注

    關注

    14

    文章

    2646

    瀏覽量

    73061
  • 數據庫
    +關注

    關注

    7

    文章

    3816

    瀏覽量

    64458

原文標題:RedisJson 橫空出世,比 ES 快7 倍,驚爆了!

文章出處:【微信號:芋道源碼,微信公眾號:芋道源碼】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏

    評論

    相關推薦

    諾基亞物聯網平臺橫空出世 已經做了哪些布局?

    諾基亞已經把目光瞄向物聯網,并且從15年下半年底布局不斷。當時看諾基亞的一系列舉動,只覺得霧里看花,但是在IMPACT橫空出世后,才驚訝的發現:諾基亞這次是來真的!對于物聯網,他早已成竹在胸!
    發表于 06-17 16:32 ?3866次閱讀
    諾基亞物聯網平臺<b class='flag-5'>橫空出世</b> 已經做了哪些布局?

    國產8核5G芯片橫空出世,不是華為是他

    5G時代,誰先掌握核心技術,誰就是行業老大,4G時代的高通就是典型案例,如今5G標準之爭落幕,盡管花落他家,但是我國的芯片技術依然不能放棄,近日,傳來好消息國產8核5G芯片橫空出世,不是華為是他。
    發表于 06-06 09:12 ?6264次閱讀

    傳感器:IP高清橫空出世CMOS趁機上位

    呼風喚雨。時過境遷,當網絡高清橫空出世,CMOS趁機上位,一步步蠶食CCD的市場份額,如今已形成與CCD分庭抗禮之勢,甚至出現趕超之勢。
    發表于 11-26 16:23

    塑料卡片電池橫空出世(傳統電池被顛覆)

    塑料卡片電池橫空出世(傳統電池被顛覆) 曾經為幾代人的生活提供能量的傳統電池,很快將被扔進歷史的垃圾箱。英國科學家宣布,
    發表于 02-08 08:44 ?721次閱讀

    橫空出世?小米6:搭載索尼XZP+2.5D玻璃+陶瓷機身+四月中旬+售價恐難守1999元

    時間很快到了三月份,小米最近可謂動作不斷,先是發布紅米Note4X初音未來版本,再是發布松果澎湃S1處理器,緊接著搭載該款處理器的小米5C橫空出世,這都是中低端產品。廣大網友最為期待的還是小米6旗艦產品什么時候發布。
    發表于 03-04 09:23 ?3293次閱讀

    OPPO A5青春版橫空出世

    集微網消息,前不久OPPO悄悄給專攻線下的A系列手機升級硬件配置,于是A5橫空出世
    的頭像 發表于 07-11 15:30 ?6391次閱讀

    500強企業今日發榜,小米則“橫空出世”成本次最年輕的全球500強企業

    超越美企。華為、京東、騰訊、阿里巴巴等中企排名均有大幅進步。首入榜單的小米則“橫空出世”,成為本次最年輕的全球500強企業。
    的頭像 發表于 07-25 15:57 ?3170次閱讀

    Redmi K20 Pro尊享版橫空出世,搭載驍龍855Plus旗艦處理器

    作為小米家族中的出貨量王者,紅米系列在獨立后取得了相當不錯的成績。不過數月,就發布多款優秀的新品。其中Redmi K20 Pro更是以旗艦的姿態站在高性價比的陣營中。昨日晚間,雷軍突然爆出Redmi K20 Pro尊享版橫空出世
    的頭像 發表于 09-20 15:38 ?5202次閱讀

    還沒完全普及的Wi-Fi 6 將迎來Wi-Fi 6E橫空出世

    5G技術高速發展的同時,Wi-Fi技術也迎來了革新,如今在還沒完全普及的Wi-Fi 6基礎上Wi-Fi 6E橫空出世
    發表于 01-09 09:45 ?1094次閱讀

    “刀片電池”橫空出世,磷酸鐵鋰電池或迎來拐點

    特斯拉無疑是最近市場的熱點,但隨著“刀片電池”的橫空出世,比亞迪等動力電池概念開始吸引市場的目光。
    的頭像 發表于 01-27 07:40 ?6524次閱讀
    “刀片電池”<b class='flag-5'>橫空出世</b>,磷酸鐵鋰電池或迎來拐點

    以數字化技術為核心的“新基建”概念橫空出世,引起了人們重點關注

    加強新型基礎設施建設,發展新一代信息網絡,激發新消費需求、助力產業升級……”今年,備受關注的“新基建”首次被寫入政府工作報告,以數字化技術為核心的“新基建”概念橫空出世,引起了人們重點關注。
    發表于 07-22 09:57 ?1420次閱讀

    華為扔出一顆重磅炸彈:華為云手機,橫空出世

    山窮水盡疑無路,柳暗花明又一春! 9月1日,華為突然扔出一顆重磅炸彈:華為云手機,橫空出世! 看吧,華為首創全球首個 ARM 芯片的 云手機 , 今天正式公測,在一個月公測期,價值 5950 元
    的頭像 發表于 09-11 12:05 ?7093次閱讀

    華為云手機橫空出世,云手機的運用領域和優勢

    9月1日,華為突然扔出一顆重磅炸彈:華為云手機,橫空出世
    的頭像 發表于 09-13 10:40 ?5654次閱讀

    Intel的第十代酷睿i7-10870H橫空出世

    前兩年大家還覺得游戲本的配置跟臺式機有很大的差距,然而這兩年來情況已經變了,主流游戲本的CPU起步也是6核,高端的上了10核酷睿i9,8核游戲本也滿天飛了,尤其是十代酷睿i7-10870H橫空出世之后。
    的頭像 發表于 11-12 11:13 ?8008次閱讀

    ChatGPT橫空出世 人工智能進入大模型時代

    1、 OpenAI 引領,人工智能進入大模型時代 1.1、 ChatGPT 橫空出世,引領人工智能新浪潮 人工智能歷經多年發展,在諸多領域超越人類。自 1956 年 8 月達特茅斯會議上 “人工智能
    的頭像 發表于 06-02 15:58 ?1519次閱讀
    ChatGPT<b class='flag-5'>橫空出世</b> 人工智能進入大模型時代
    主站蜘蛛池模板: 天堂网最新版www| 色多多www网站| 亚洲视频1| 热久热| 久久久xxx| 伊人久久99| 午夜精品久久久久蜜桃| 国产成人在线网址| 国产特级毛片aaaaaa毛片| 国产一区二区三区在线观看影院| 国产一二精品| 最近高清在线视频观看免费| 天天综合五月天| 久久国产精品99久久久久久牛牛| 91精品福利久久久| 亚洲一区二区综合| 又色又爽又黄视频| 色黄污在线看黄污免费看黄污| 男女交性视频免费视频| 99热精品一区| 四虎国产精品免费观看| 你懂得在线播放| 欧洲综合色| 国产一区二区三区乱码| 午夜视频你懂的| 国产成人精品一区二区三区| 一区二区三区视频在线观看| 中文字幕天堂网| 日本黄a| 搞逼综合网| 美国一级大黄香蕉片| 68日本 xxxxxxxxx| 夜色伊人| 噜噜噜噜天天狠狠| 免费爱爱网| 7799国产精品久久久久99| 久久久久女人精品毛片九一| 一本到卡二卡三卡福利| 网站免费黄| 狠狠se| 奇米久久久|