在進行AI模型開發時，數據的數量與質量直接影響模型效果。在實地數據采集之后，企業往往需要從大量數據中篩選出符合訓練要求的相關數據，剔除質量差或不相關的數據，這個步驟被稱為數據清洗。

通常來講，在清洗數據時主要會清理掉對訓練任務沒有用途的數據，例如在訓練工廠工人佩戴安全帽識別模型時，希望在視頻抽幀后的大量圖片中僅保留有工人出現的圖片進行標注訓練。在這一步驟上，傳統做法是進行人工篩選，人力投入較多且容易發生遺漏；隨著人工智能發展，目前許多平臺，如百度大腦AI開放平臺，已經提供人臉檢測、人體檢測的通用接口，用戶可以先調用接口處理數據，篩選出采集到人像的數據，再進入到具體的檢測識別步驟。那么，是否有一個集成了各項數據處理能力，盡量減少人工干預，能夠自動完成視頻數據采集、抽幀、數據清洗、智能標注，從而高效提取高質量訓練數據的解決方案呢？

關注到有越來越多的用戶對數據處理有強烈需求，今年4月，百度全新推出智能數據服務平臺EasyData，集數據采集、數據清洗、數據標注等功能于一身，完成上述數據處理工作之后，可以在EasyDL平臺進行模型訓練、模型部署。

針對數據清洗這一具體功能，EasyData目前上線了去相似、去模糊、旋轉、裁剪和鏡像這5種基礎的數據清洗功能。那么除了常規能力之外，EasyData還有什么業內獨家的終極秘技？

從應用出發，高級清洗功能讓數據處理事半功倍

在園區智能管理等場景下，需要監測工廠園區、林區中是否有人闖入，或檢查工人是否佩戴安全帽。為了滿足此類場景下的圖片清洗需求，EasyData上線了高級清洗功能，將無人臉、無人體出現的數據進行過濾。EasyData聯動百度大腦AI開放平臺提供的前沿技術能力，用戶僅需在百度智能云上開通相應的服務（人臉檢測和人體檢測都可以免費試用），就可以通過簡單的配置，在EasyData平臺上直接使用這些功能進行自動數據清洗。

1、過濾無人臉圖片

如果以前沒有用過百度智能云的人臉檢測服務，第一次使用高級清洗的功能會提示“申請免費試用”，點擊鏈接會進入百度智能云人臉檢測的頁面，按照提示，開通服務后，再回到EasyData的頁面就可以正常使用了。

和基礎的數據清洗服務一樣，過濾無人臉圖片也是以數據集為單位的。在數據清洗頁面選擇過濾無人臉圖片，點擊保存，提交任務就可以進行清洗。如果勾選了“保留標簽”，那么不僅會把沒有人臉的圖片過濾，還會將人臉畫框同步至清洗后的數據集。

例如下圖，清洗前的數據集除了人臉圖片，還有一些風景照、車輛等其他物體的照片，人臉過濾會把這些沒有人臉的圖片過濾，保留下來包含人臉的圖片，包括戴口罩、被遮擋的人臉也可以識別出來。

過濾無人體圖片同樣會用到百度智能云的人體檢測能力，在使用之前需要在百度智能云上開通相應的服務。過濾無人體圖片會用到兩個接口，人體檢測和屬性分析（https://ai.baidu.com/tech/body/attr）和人像分割（https://ai.baidu.com/tech/body/seg）。數據集模板為圖像分類和物體檢測的數據集會調用人體檢測和屬性分析接口，數據集模板為圖像分割的數據集會調用人像分割接口。百度智能云上的人像分割接口返回的是人像圖片對應的二值圖片（人像為1，背景為0），在后端會執行相應的標簽轉換，返回的二值圖片轉換成對應的標簽。

關注廣泛需求，提供多種基礎數據清洗功能

1、去相似圖片

用攝像頭自動采集圖片的時候，由于長時間在同一個場景下，即使做了抽幀處理，還是會有大量的相似圖片。大量的相似圖片，數據價值低，而且占用了大量的存儲空間，而人工篩選，耗時費力，容易出錯。EasyData平臺推出的去相似圖片利用圖片的相似檢索特征，計算圖片的兩兩相關性，可以自動地判斷相似圖片、保留不相似的圖片，具體操作也十分簡便。

如下圖所示，去相似前的數據集里有8張圖片，根據圖片的相似度，圖片可以分成3類。清洗完成后的數據集中有3張圖片，分別是清洗前的3類圖片中的一張。

2、去模糊圖片

相機抖動、物體快速移動都會造成拍出來的圖片不清晰、產生低質圖片。通過人工挑選的方法去除模糊圖片缺乏統一的標準，容易漏刪或多刪。利用EasyData的去模糊圖片，可以輕易地去除模糊圖片。

以示例圖片為例，清洗前有5張圖片，畫質不一，清洗后保留下來兩張高質量的圖片。此外，如果用戶認為有部分模糊圖片沒有去除，或者高質量的圖片沒有保留下來，可以考慮調整清晰度的分值，重新清洗。

對于普通清洗，可以在一個清洗任務中提交多個清洗操作，例如同時勾選去相似、去模糊功能，即可同時去除相似和模糊的圖片。

目前的數據清洗服務所能支持的最大數據集大小是5萬張圖片。基于EasyData平臺的大數據處理平臺，對于基礎清洗服務，2萬張圖片的數據集，僅需1小時可以完成清洗；5萬張圖片的數據集，只需2小時即可完成清洗。對于高級清洗服務來說，清洗效率也可以通過配置QPS靈活調整清洗效率，更方便快捷。

考慮到智能園區管理等場景中，有對視頻進行截幀、自動上傳的需求，EasyData平臺也免費提供SDK，供用戶進行下載，可以將SDK接入業務現場的數據采集終端，在平臺設置截幀時間與間隔，自動將原始視頻數據截為圖片數據并上傳至EasyData平臺進行后續處理。

EasyData是百度大腦推出的業內首個提供軟硬一體、端云協同的智能數據采集與處理平臺，支持圖片、文本、音頻和視頻四類數據的處理，其中圖片數據支持了采集、清洗、標注一站式處理，覆蓋模型開發中的各類數據管理需求。EasyData處理后的數據可直接應用于EasyDL模型訓練，通過EasyDL預訓練模型和自動遷移學習機制，高效開發AI模型。
責編AJX