在线观看www成人影院-在线观看www日本免费网站-在线观看www视频-在线观看操-欧美18在线-欧美1级

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

浪潮信息分布式存儲在人工智能領域的應用

浪潮存儲 ? 來源:浪潮存儲 ? 2024-11-26 13:44 ? 次閱讀

隨著AI技術機器學習演進至深度學習,并進一步邁向生成式AI的新階段,算法、算力及數據需求呈現出爆炸式增長態勢。大模型爆發初期,眾多企業布局,要求存儲提供高帶寬、高IOPS和低時延,以確保模型能夠快速有效地進行訓練。而在模型的實際部署與應用過程中,又需要實現數據的跨域、跨介質靈活調度,以及高質量數據集的高效管理,這對存儲系統的靈活性、安全性及數據的可持續訪問能力構成了新的挑戰。

在近期舉辦的中國數據與存儲峰會AI+存儲協同發展論壇上,分布式存儲產品總監張業興發表了題為“數聚存儲,智慧未來”的演講。演講中,張業興不僅回顧了過去一年人工智能領域的迅猛發展態勢,還深入闡述了浪潮信息在這一背景下如何精心布局新產品、新技術和新方案。

AI時代:存儲的轉型與重塑

人工智能已被提升至國家戰略的高度,成為驅動新質生產力發展的關鍵力量。張業興指出,數據作為一種新型生產要素,不僅是勞動工具,還能創造經濟價值。隨著數據的迅猛增長和摩爾定律的持續推動,人工智能正步入一個爆發式增長的階段,特別是在GPU市場規模及智能算力領域,展現出了驚人的增長潛力。據預測,至2028年,全球GPU市場規模有望達到2461.5億美元,而中國市場的規模也將攀升至459億美元,年復合增長率高達32.8%。這一趨勢清晰地表明,人工智能正引領著第四次工業革命,對經濟社會產生著廣泛而深遠的影響。

在人工智能時代的大背景下,存儲系統的角色已悄然轉變,它不再是單純的數據存儲容器,而是成為了推動人工智能發展的核心組件。隨著大模型技術的蓬勃發展,存儲系統正面臨著前所未有的挑戰。在大模型市場的初期布局中,已有超過400家廠商爭相涌入,模型訓練的“速度”成為了競爭的關鍵。為了提高GPU的利用效率,存儲系統必須能夠提供TB級的高帶寬和百萬級的高IOPS,以確保模型訓練的高效運行。

此外,隨著模型在各行業的落地,數據的跨域和跨介質調動變得至關重要,存儲系統需要實現全局命名空間的管理,以支持大規模數據的高效匯集和利用。同時,在大模型的行業化落地過程中,為了提升通用模型的專業化能力,高質量且可重復利用的數據集成為了不可或缺的資源。數據的安全存儲與可持續性訪問能力成為了存儲系統必須滿足的重要要求。

AS13000G7:解鎖存儲潛能,賦能AI未來

針對上述挑戰,浪潮信息推出了分布式融合存儲平臺AS13000G7,在性能優化、融合互通、韌性保障等多個維度進行了技術創新。

在性能優化方面,AS13000G7通過數控分離架構,減少了數據在轉發和拷貝過程中的延遲,單流帶寬可達15GB/s,單節點帶寬超過100GB/s,相比傳統數控一體架構性能提升60%以上。此外,AS13000G7能夠智能識別大IO和小IO,通過切片處理和聚合處理,將不同規模的數據形成統一的數據團,并存入全局緩存中,實現小IO性能提升5倍。同時,數據緩存預讀功能能夠在訓練過程中提前加載熱點數據,進一步提升數據加載速度。另外,AS13000G7還設計了全用戶態的輕量級IO站,利用多任務并行和無鎖IO處理技術,實現了延遲降低40%,訓練數據加載時間減少30%。

在近期發布的MLPerf Storage v1.0 AI存儲基準測試中,AS13000G7參與了八項測試并獲得了五項全球第一的成績,如3D-UNet測試中,支持264個模擬加速器,GPU利用率超90%時提供360GB每秒帶寬,單節點帶寬超120GB每秒;在CosmoFlow模型測試中,樣本讀取時間極短,單客戶端和多客戶端分別提供了18GB/s和52GB/s的帶寬。

在融合互通方面,AS13000G7支持多種接入協議,如NFS和S3等,并通過復原數據管理實現文件和對象數據的協議互通、語義無損以及性能一致,避免了數據格式轉換和多份存儲的問題,為用戶節省了高達50%的存儲空間。同時,AS13000G7還建立了全局統一命名空間,納管所有數據,實現跨域、跨介質和跨協議的靈活調動,提供統一數據視圖,并支持10億級文件秒級檢索,有效解決了數據孤島問題,方便用戶數據訪問與管理。

在韌性保障方面,AS13000G7定期進行亞健康檢測,并通過內部冗余保護機制實現免遷移快速重構,將TB級重構時間降至5分鐘內,每次故障恢復時間降低90%。此外,AS13000G7運用AIOps算法預測磁盤故障、容量趨勢、性能趨勢和SSD壽命,其中磁盤故障預測準確率達98%以上,誤報率僅0.007%。在數據安全層面,AS13000G7設置了五層系統防護,采用快篩機器學習和深篩深度學習算法來檢測惡意軟件,漏報率僅為0.029%,誤報率為0.33%。

面向大模型應用,基于AS13000G7的AI存儲解決方案,整合不同盤位存儲設備形成統一資源池,提供高性能、高利用率和高韌性,滿足數據全生命周期需求。結合AI資源調度平臺,提升數據預讀加載效率30%,已服務眾多AIGC客戶。

在上海某高校的應用案例中,由于該校擁有多個與AI相關的學科,數據導入呈現出多元多態的特點,業務需求也涵蓋了數據的匯集、處理、訓練和推理等多個環節。浪潮信息為其提供32節點GPU服務器作為計算支持,并配置20個節點的AS13000G7 24盤位全閃節點作為存儲資源池,實現對象文件融合存儲,降低總體擁有成本(TCO)達30%,大帶寬高IOPS的特性支持了模型毫秒級讀寫,進一步縮短訓練等待時間40%。

AS13000G7分布式融合存儲平臺以其高性能、高效率和高韌性,成為支持人工智能發展的理想選擇。在人工智能蓬勃發展的時代,浪潮信息將憑借其卓越的產品和解決方案,積極應對挑戰,抓住機遇,為構建智慧未來奠定了堅實的數據存儲基礎,成為行業發展的重要引領者。

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 浪潮
    +關注

    關注

    1

    文章

    460

    瀏覽量

    23864
  • AI
    AI
    +關注

    關注

    87

    文章

    30895

    瀏覽量

    269086
  • 人工智能
    +關注

    關注

    1791

    文章

    47279

    瀏覽量

    238493
  • 分布式存儲
    +關注

    關注

    4

    文章

    171

    瀏覽量

    19527

原文標題:數聚存儲,智慧未來:分布式存儲在人工智能時代的創新與應用

文章出處:【微信號:inspurstorage,微信公眾號:浪潮存儲】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏

    評論

    相關推薦

    嵌入人工智能究竟是什么關系?

    應用場景。例如,智能家居領域,嵌入系統可以控制各種智能設備,如智能燈泡、
    發表于 11-14 16:39

    浪潮信息AI存儲性能測試的領先之道

    AI技術的無限可能。近日,MLCommons的子項目MLPerf Storage v1.0性能基準評測中,浪潮信息再度展現了AI存儲領域
    的頭像 發表于 10-29 16:30 ?247次閱讀
    <b class='flag-5'>浪潮信息</b>AI<b class='flag-5'>存儲</b>性能測試的領先之道

    33家元腦區域伙伴與浪潮信息簽署戰略合作協議

    近日,2024年浪潮信息區域ISP伙伴戰略簽約儀式圓滿落幕,標志著浪潮信息人工智能領域的合作版圖再度擴大。此次盛會匯聚了全國范圍內33家實
    的頭像 發表于 08-14 16:25 ?460次閱讀

    浪潮信息引領數據編排新紀元,加速釋放數據潛能

    2024年數據基礎設施技術峰會的璀璨舞臺上,浪潮信息分布式存儲產品線架構師Lance Sun博士以其深厚的行業洞察與前瞻視角,發表了題為“高效數據編排,加速釋放數據潛能”的精彩演講,
    的頭像 發表于 07-03 15:30 ?383次閱讀

    浪潮信息推出AIGC存儲解決方案

    近日,科技創新的浪潮中,浪潮信息成功舉辦了“元腦中國行”全國巡展的杭州站活動,此次盛會不僅匯聚了業界的精英與目光,更見證了浪潮信息AIG
    的頭像 發表于 07-03 11:16 ?722次閱讀

    浪潮信息推出基于新一代分布式存儲平臺AS13000G7的AIGC存儲解決方案

    6月28日,浪潮信息“元腦中國行”全國巡展杭州站順利舉行。會上,浪潮信息重磅推出基于新一代分布式存儲平臺AS13000G7的AIGC存儲解決
    的頭像 發表于 07-01 19:00 ?1434次閱讀
    <b class='flag-5'>浪潮信息</b>推出基于新一代<b class='flag-5'>分布式</b><b class='flag-5'>存儲</b>平臺AS13000G7的AIGC<b class='flag-5'>存儲</b>解決方案

    浪潮信息分布式存儲AS13000完成英特爾至強6能效核處理器適配

    近日,浪潮信息分布式存儲AS13000完成英特爾至強6能效核處理器適配,實現每瓦性能提升2.3倍,以更高的效率、更優的成本滿足海量多態數據的存儲需求,充分釋放數據價值。
    的頭像 發表于 06-19 10:05 ?865次閱讀
    <b class='flag-5'>浪潮信息</b><b class='flag-5'>分布式</b><b class='flag-5'>存儲</b>AS13000完成英特爾至強6能效核處理器適配

    浪潮信息發布AS13000G7-N系列分布式全閃存儲

    浪潮信息近日推出了專為大型AI模型優化的AS13000G7-N系列分布式全閃存儲。該系列基于浪潮信息自研的分布式文件系統,結合新一代數據加速
    的頭像 發表于 05-14 10:03 ?567次閱讀

    為大模型專門優化 浪潮信息發布分布式全閃存儲AS13000G7-N系列

    北京2024年5月10日?/美通社/ -- 近日,浪潮信息發布為大模型專門優化的分布式全閃存儲AS13000G7-N系列。該系列依托浪潮信息自研分布
    的頭像 發表于 05-10 16:37 ?430次閱讀
    為大模型專門優化 <b class='flag-5'>浪潮信息</b>發布<b class='flag-5'>分布式</b>全閃<b class='flag-5'>存儲</b>AS13000G7-N系列

    浪潮信息發布為大模型專門優化的分布式全閃存儲AS13000G7-N系列

    近日,浪潮信息發布為大模型專門優化的分布式全閃存儲AS13000G7-N系列。該系列依托浪潮信息自研分布式文件系統,搭載新一代數據加速引擎D
    的頭像 發表于 05-08 09:38 ?566次閱讀
    <b class='flag-5'>浪潮信息</b>發布為大模型專門優化的<b class='flag-5'>分布式</b>全閃<b class='flag-5'>存儲</b>AS13000G7-N系列

    一圖讀懂浪潮信息新一代分布式全閃存儲AS13000G7-N系列

    一圖讀懂浪潮信息新一代分布式全閃存儲AS13000G7-N系列
    的頭像 發表于 05-08 09:35 ?1278次閱讀
    一圖讀懂<b class='flag-5'>浪潮信息</b>新一代<b class='flag-5'>分布式</b>全閃<b class='flag-5'>存儲</b>AS13000G7-N系列

    浪潮信息IPF24: 發展人工智能+,創新需要激發活力、拓展路徑、加速落地

    北京2024年4月18日?/美通社/ -- 4月17日,浪潮信息北京舉辦的生態伙伴大會IPF2024上提出,發展人工智能+,要堅持"以應用為導向,以系統為核心",著重激發創新活力、拓展創新
    的頭像 發表于 04-18 21:19 ?329次閱讀
    <b class='flag-5'>浪潮信息</b>IPF24: 發展<b class='flag-5'>人工智能</b>+,創新需要激發活力、拓展路徑、加速落地

    浪潮信息生態伙伴大會IPF2024:發展人工智能+,加速創新落地

    4月17日,浪潮信息北京舉辦的生態伙伴大會IPF2024上提出,發展人工智能+,要堅持“以應用為導向,以系統為核心”,著重激發創新活力、拓展創新路徑、加速創新落地,推動人工智能成為百
    的頭像 發表于 04-18 09:12 ?628次閱讀

    XEDP與KeyarchOS完成浪潮信息澎湃技術認證

    澎湃技術認證。 經聯合測試, 雙方產品功能兼容性良好,整體運行流暢,性能表現優異,滿足用戶云計算、大數據、人工智能領域對企業級數據存儲的多種需求。 ?
    的頭像 發表于 02-27 17:56 ?471次閱讀
    XEDP與KeyarchOS完成<b class='flag-5'>浪潮信息</b>澎湃技術認證

    嵌入人工智能的就業方向有哪些?

    嵌入人工智能的就業方向有哪些? 新一輪科技革命與產業變革的時代背景下,嵌入人工智能成為國家新型基礎建設與傳統產業升級的核心驅動力。同時
    發表于 02-26 10:17
    主站蜘蛛池模板: 一级特黄aa大片免费播放视频| 久久 在线播放| 午夜国产精品福利在线观看| 网色| 欧美黑人巨大xxx猛交| 午夜在线观看cao| 月夜免费观看高清在线完整| 四虎在线最新永久免费播放| 欧美成人精品| 成人在线91| 欧美乱强性伦xxxxx| 欧美xxxx性疯狂bbbb| 香蕉婷婷| 久久成人网18网站| 午夜三级成人三级| 911国产自产精选| 饥渴少妇videos| 四虎影院永久| se94se亚洲欧美在线| 欧美 变态 另类 人妖班| 激情九月| 激情五月婷婷基地| 日韩第十页| 亚洲天堂视频在线观看免费| 亚洲大尺度视频| 久久久久综合中文字幕| 五月激情综合网| 欧美视频免费一区二区三区| 色色视频网| wwwxx在线观看| 91黄视频在线观看| 四虎最新免费网址| 午夜影院在线免费| 激情亚洲婷婷| 国产在线a不卡免费视频| 久久视频精品36线视频在线观看| 色91视频| 你懂的手机在线| 色综合成人| 亚洲成人高清在线| 国产成人99久久亚洲综合精品|