在线观看www成人影院-在线观看www日本免费网站-在线观看www视频-在线观看操-欧美18在线-欧美1级

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

沒有大量訓練數據時怎么生成更多的數據

汽車玩家 ? 來源:人工智能遇見磐創 ? 作者:人工智能遇見磐創 ? 2020-05-04 08:59 ? 次閱讀

在圖像和物體識別方面,計算機表現優于人類。

像Google和Microsoft這樣的大公司在圖像識別方面已經超越了人類基準[1,2]。平均而言,人類大約有5%的時間在圖像識別任務上犯了錯誤。截至2015年,微軟的圖像識別軟件的錯誤率達到4.94%,與此同時,谷歌宣布其軟件的錯誤率降低到4.8%[3]

這是怎么做到的?

這可以通過在包含數百個對象類別、數百萬個訓練樣本的ImageNet數據集上訓練深度卷積神經網絡來實現[1]。

百萬訓練數據!

例如,要教計算機從多個角度識別出一只貓貓,可能需要成千上萬張涵蓋不同角度的照片。

成功訓練計算機視覺任務的深層卷積神經網絡需要大量數據。這是因為這些神經網絡具有多個隱藏的處理層,并且隨著層數的增加,需要學習的樣本數也隨之增加。如果沒有足夠的訓練數據,則該模型往往會很好地學習訓練數據,這稱為過度擬合。如果模型過擬合,則其泛化能力很差,因此對未見的數據的表現很差。

但是,如果沒有大量的訓練數據怎么辦?

對于我們手頭的所有圖像識別任務,并不是都會擁有數百萬個訓練樣本。對于某些任務,收集成千上萬個樣本圖像甚至是一個挑戰。對于醫學圖像而言通常是這種情況,例如用于乳房癌檢測和定位的乳房X線照相術,用于肺癌檢測的胸部X射線或用于定位腦腫瘤的MRI掃描。

這可以歸結為一個問題:當我們只有有限的數據時,我們如何訓練能夠很好地完成這些任務的模型?

使用數據增強(data augmentation)生成更多訓練數據

當我們只有少量圖像數據用于訓練深度卷積神經網絡時,我們可以使用數據增強技術從已經擁有的圖像數據中生成更多訓練數據。

數據增強是一種為原始圖像生成多個圖像的技術。有幾種不同的數據增強技術,Mikolajczyk和Grochowski在他們的論文中[4]將這些技術分為兩個子類別:使用基本圖像處理的數據增強和使用深度學習方法的數據增強。

幾何變換

諸如翻轉(Flip),裁剪(Crop),旋轉(Rotation)和移位(Translation)之類的幾何變換是一些常用的數據增強技術。我們將在本文中簡要討論它們。

翻轉

翻轉是取任意給定圖像的鏡像。它是最簡單的增強技術之一。圖像可以水平或垂直翻轉。但是,水平翻轉在這兩者之間更為常見。

裁剪

裁剪是一種數據增強技術,用于通過裁剪邊界像素來減小原始圖像的大小。裁剪時不會保留空間尺寸。在這種類型的數據增強中,不能保證轉換后的圖像與原始圖像屬于相同的輸出標簽

在上面的圖像中,通過從左右方向裁剪像素,從原始圖像生成了四個圖像。裁剪圖像的尺寸從256x256減小到227x277。

旋轉

圖像可以在軸上向左或向右旋轉1到359度。1到20度之間的旋轉稱為輕微旋轉,并且是用于增強原始圖像的有用技術。隨著旋轉度的增加,轉換后的數據可能無法保留其原始標簽。

移位

翻譯是一種將圖像向左,向右,向上或向下平移的技術。這是一種非常有用的轉換技術,可以避免數據中的位置偏差。移位圖像時,剩余空間將被填充為0,255或被隨機噪聲填充,從而保留了圖像的原始大小。

基于GAN的數據增強

生成對抗網絡(GAN)也稱為GAN,是一種生成建模技術,其中可以從數據集中創建人工實例,從而保留原始集的相似特征[9]。

GAN由兩個相互競爭的人工神經網絡(ANN)組成,即生成器 generator 與判別器 discriminator。生成器創建新的數據實例,而判別器則評估它們的真實性[10]。

這是由GAN生成的人臉圖像,這是在人臉上訓練出來的。請注意,這些是合成的面孔,而不是真實的人。

這些是一些數據增強技術,通常用于從有限的數據集中生成更多數據,從而可以訓練出更有效的卷積神經網絡。

Olaf和他的團隊在訓練數據有限的情況下,利用在圖像上的平移、旋轉和隨機彈性變換等數據增強技術訓練U-net體系結構模型,并在2015年ISBI細胞追蹤挑戰中以較大優勢獲得這些類別的冠軍。

因此,下次在訓練卷積神經網絡時,請使用這些技術來創建更多數據。

你平時使用了哪些數據增強技術?在下面評論分享的想法。

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 計算機
    +關注

    關注

    19

    文章

    7531

    瀏覽量

    88419
  • 圖像識別
    +關注

    關注

    9

    文章

    521

    瀏覽量

    38326
收藏 人收藏

    評論

    相關推薦

    英偉達推出基石世界模型Cosmos,解決智駕與機器人具身智能訓練數據問題

    。Cosmos 世界基礎模型(WFM)使開發者能夠輕松生成大量基于物理學的逼真合成數據,以用于訓練和評估其現有的模型。開發者還可以通過微調 Cosmos WFM 構建自定義模型。 為加速機器人和自動駕駛
    的頭像 發表于 01-14 11:04 ?214次閱讀
    英偉達推出基石世界模型Cosmos,解決智駕與機器人具身智能<b class='flag-5'>訓練</b><b class='flag-5'>數據</b>問題

    【「具身智能機器人系統」閱讀體驗】+數據在具身人工智能中的價值

    熟練程度,但由于其多模態性質,訓練 EAI 模型需要更多的機器人數據。這些機器人數據包括各種傳感輸入和交互類型,不僅極具挑戰性,而且收集成本高昂。
    發表于 12-24 00:33

    如何使用OpenUSD構建支持生成式AI的合成數據工作流

    訓練用于驅動自主機器(例如機器人和自動駕駛汽車)的物理 AI 模型需要大量數據。獲取大量多樣化的訓練數據
    的頭像 發表于 11-20 09:50 ?329次閱讀
    如何使用OpenUSD構建支持<b class='flag-5'>生成</b>式AI的合成<b class='flag-5'>數據</b>工作流

    如何訓練自己的LLM模型

    于什么任務,比如文本生成、翻譯、問答等。 明確你的模型需要達到的性能標準。 數據收集與處理 : 收集大量的文本數據,這些數據將用于
    的頭像 發表于 11-08 09:30 ?723次閱讀

    AI大模型的訓練數據來源分析

    學術機構、政府組織或企業公開發布,涵蓋了各種類型的數據,如圖像、文本、音頻、視頻等。例如: ImageNet :一個廣泛用于圖像識別任務的大規模圖像數據集。 Common Crawl :提供了大量的網頁抓取
    的頭像 發表于 10-23 15:32 ?935次閱讀

    生成大量獨立的PWMs

    電子發燒友網站提供《生成大量獨立的PWMs.pdf》資料免費下載
    發表于 09-19 10:58 ?0次下載
    <b class='flag-5'>生成大量</b>獨立的PWMs

    NVIDIA Nemotron-4 340B模型幫助開發者生成合成訓練數據

    Nemotron-4 340B 是針對 NVIDIA NeMo 和 NVIDIA TensorRT-LLM 優化的模型系列,該系列包含最先進的指導和獎勵模型,以及一個用于生成式 AI 訓練數據集。
    的頭像 發表于 09-06 14:59 ?363次閱讀
    NVIDIA Nemotron-4 340B模型幫助開發者<b class='flag-5'>生成</b>合成<b class='flag-5'>訓練</b><b class='flag-5'>數據</b>

    TCP傳輸大量數據時丟失數據的原因?

    當TCP用于傳輸大量數據時,要找到數據丟失的地方,當TCP傳輸大量數據時,數據包丟失,包錯。 具
    發表于 07-12 15:03

    20個數據可以訓練神經網絡嗎

    是一種強大的機器學習模型,可以處理各種復雜的任務,如圖像識別、自然語言處理和游戲。然而,訓練一個神經網絡通常需要大量數據。在某些情況下,我們可能只有有限的數據可用,例如20個
    的頭像 發表于 07-11 10:29 ?1056次閱讀

    pytorch如何訓練自己的數據

    本文將詳細介紹如何使用PyTorch框架來訓練自己的數據。我們將從數據準備、模型構建、訓練過程、評估和測試等方面進行講解。 環境搭建 首先,我們需要安裝PyTorch。可以通過訪問Py
    的頭像 發表于 07-11 10:04 ?584次閱讀

    PyTorch如何訓練自己的數據

    PyTorch是一個廣泛使用的深度學習框架,它以其靈活性、易用性和強大的動態圖特性而聞名。在訓練深度學習模型時,數據集是不可或缺的組成部分。然而,很多時候,我們可能需要使用自己的數據集而不是現成
    的頭像 發表于 07-02 14:09 ?1945次閱讀

    定制化、精細化、場景化AI訓練數據趨于基礎數據服務市場主流

    算法、算力和數據共同構成了AI產業鏈技術發展的三大核心要素。在人工智能行業發展進程中,有監督的深度學習算法是推動人工智能技術取得突破性發展的關鍵技術理論,而大量訓練數據的支撐則是有監督
    的頭像 發表于 06-26 15:01 ?407次閱讀
    定制化、精細化、場景化AI<b class='flag-5'>訓練</b><b class='flag-5'>數據</b>趨于基礎<b class='flag-5'>數據</b>服務市場主流

    數據在軍事訓練領域的應用有哪些

    量身定制個性化的訓練計劃。這種基于大數據訓練計劃能夠充分發揮每個士兵的潛力,提高訓練效果。 智慧華盛恒輝實時監控與反饋: 利用大數據技術,
    的頭像 發表于 06-23 10:21 ?722次閱讀

    【大語言模型:原理與工程實踐】大語言模型的預訓練

    具有以下三個非常顯著的特點,一個就是模型參數規模更大,訓練數據更多。當然,對計算資源的要求也會更高。 構建強大的語言模型時,模型的選型至關重要,涉及模型的基本架構,包括模型的主要結構,表策策略,激活
    發表于 05-07 17:10

    DocuSign擬用用戶合同數據訓練AI,引爭議

    據了解,DocuSign計劃借助微軟Azure上的OpenAI工具,如GPT技術,以訓練其所謂的“撰寫協議”模型,并且從用戶提供的大量數據中,訓練出專屬的人工智能(AI)模型,但這部分
    的頭像 發表于 03-04 15:45 ?583次閱讀
    主站蜘蛛池模板: 夜夜夜久久久| 1000部啪啪未满十八勿入中国| 色综合婷婷| 四虎网站在线播放| 日韩精品一级a毛片| 另类free性欧美护士| 国产三级在线观看| 夜操| 久久久美女视频| 欧美性极品xxxxx| 久久久久久午夜精品| 亚洲爱爱视频| 天堂中文www在线| 欧美影院| 女人69xxx| 国产精品29页| 四虎最新永久免费网址| 欧美日韩在线成人免费| 国产拍拍拍免费视频网站| 亚洲444kkk| 孩交精品xxxx视频视频| 国产黄色在线| 资源种子在线观看| 色妞网| 激情理论片| 天天摸天天躁天天添天天爽| 狠狠操狠狠干| 日本一区二区三区四区视频| 亚洲成a人片在线观看中| 欧美性天堂| www.丁香| 国产永久免费爽视频在线| 在线视频三区| 下农村女人一级毛片| 美女涩涩网站| 亚洲视频福利| 放荡女同老师和女同学生| 美欧毛片| 日本在线亚洲| 四虎最新在线| 国产一区二区三区不卡观|