隨著經濟社會加速數字化轉型，大數據、云計算、人工智能、區塊鏈等新一代信息技術快速興起，智慧政務、金融科技、智慧交通、遠程教育、智慧醫療等應用加速落地，包含各種辦公文檔、圖片、視頻、音頻、設計文檔、日志文件、機器數據等的非結構化數據爆發式增長，企業和組織愈發重視海量非結構化數據的管理與應用。如何依靠底層技術讓海量非結構化數據的管理和使用更簡單?無處不在的元數據給出了答案。

什么是元數據?

元數據是關于數據的數據,人們身邊的一切信息和資源都可以用數據來描述，元數據則是從數據資源中抽取用來說明其特征和內容的結構化數據，用于組織、管理、保存、檢索信息和資源。雖然人們看不見元數據的存在，但它卻無時無刻不伴隨左右。人們平時所津津樂道的大數據，也是基于元數據來計算的。

企業和組織用戶可以基于元數據對海量非結構化數據進行管理，例如獲取后綴名為jpeg的所有圖片文件列表、獲取文件大小大于10M的文件列表、獲取給定日期之前創建的文件列表，在快速獲取符合條件的文件之后高效管理對應的數據。而如何更方便快捷地查找到非結構化的文件成為了分布式存儲全新的挑戰。

原始的數據檢索方式較為簡單粗暴，難以應對文件多、目錄層次深、檢索條件復雜等問題。例如Linux中的find查找，對象存儲中的前綴檢索，都只能遍歷所有文件進行篩選。功能上不能滿足多樣化的檢索需求，檢索字段有限，檢索方式單一;性能上也挑戰了底層元數據管理服務的檢索能力和檢索效率。

浪潮分布式存儲基于對元數據檢索的研究，在分布式存儲平臺AS13000上進行技術創新，在對象、文件、大數據三大非結構化存儲場景，研發了元數據檢索功能。支持對文件名稱、路徑、類型、大小、自定義元數據、創建時間、修改時間、用戶(組)、桶等關鍵字段進行檢索，支持基礎檢索和邏輯關系自定義等高級檢索功能。百億級文件，亞分鐘級檢索。

浪潮分布式存儲

元數據檢索的四大優勢

浪潮分布式存儲AS13000元數據檢索能夠同時兼容對象、文件、大數據三大非結構化存儲場景，引入Elasticsearch作為元數據檢索引擎，支持NFS、CIFS、S3、Swift、HDFS協議。

Elasticsearch是一個可擴展的RESTful風格的分布式數據檢索和分析引擎，它能夠快速且近實時地存儲、檢索、分析海量數據，通常用作具有復雜檢索應用的底層引擎。傳統的分布式存儲+Elasticsearch，即為浪潮分布式非結構化存儲AS13000元數據檢索的核心。

文件的元數據信息會同步至Elasticsearch引擎中，基于此，用戶的元數據檢索命令通過協議轉換，在Elasticsearch中檢索出符合要求的文件信息，返回給用戶。

比如，浪潮分布式存儲具有更全面的協議支撐。浪潮分布式存儲AS13000能夠同時支持NFS、CIFS、S3、Swift、HDFS協議進行檢索;同時支持客戶自己的RESTful風格訪問程序進行自定義元數據信息檢索。

又如，具備更靈活便捷的檢索方式?；谏鲜龅慕Y構，浪潮分布式存儲AS13000支持了更為豐富的檢索手段和快捷的檢索速度，對數據存儲本身的讀寫影響更小。支持的檢索內容包括兩個方面，其一，豐富的檢索字段，包括文件名稱、路徑、類型、大小、創建時間、最后修改時間、用戶名、用戶組名、桶名，以及用戶自定義的元數據信息，都可以作為檢索字段。其二，多樣的檢索邏輯;支持大于、大于等于、小于、小于等于、不等于、等于等算術比較運算符，邏輯支持“并且”“或者”等邏輯運算符。企業可以根據需求在檢索界面上進行檢索式的組裝，且檢索結果支持分頁展示。

再如，更安全的元數據保護。為了保護用戶的元數據信息，避免非法的RESTful請求惡意獲取Elasticsearch中的元數據信息，浪潮分布式存儲AS13000同時針對Elasticsearch進行了安全限制，針對Elasticsearch提供 數據流加密，同時基于角色進行訪問安全校驗，保障元數據信息的網絡安全。

最后，更便捷的對接方式。浪潮分布式存儲AS13000不僅自身能夠提供元數據檢索服務，同時能夠輕松對接客戶的Elasticsearch引擎。如果客戶原本就有元數據檢索引擎，則可以直接部署浪潮分布式存儲，對接客戶的Elasticsearch，不需要客戶更改原本的檢索手段，實現無縫切換。

具備元數據檢索功能的浪潮分布式非結構化存儲AS13000，已經在金融、通信、教科研、醫療等行業規模部署。為企業提供更簡單、更豐富、更便捷的元數據檢索方式，讓企業輕松應對數字經濟時代的海量數據挑戰。

審核編輯：湯梓紅