納米光子介質(zhì)在人工神經(jīng)干涉中的應(yīng)用

本文中，學(xué)者們介紹了一種納米光子神經(jīng)介質(zhì)，可以執(zhí)行相當(dāng)于人工神經(jīng)計(jì)算的復(fù)雜和非線性模式映射。具體而言，他們的工作證明了通過納米光子介質(zhì)的光波能夠執(zhí)行人工神經(jīng)計(jì)算，測試集的精度約為84％。

許多現(xiàn)有的光學(xué)神經(jīng)計(jì)算技術(shù)通過利用分層前饋網(wǎng)絡(luò)遵循數(shù)字ANN的架構(gòu)。但是對于新的納米光子神經(jīng)介質(zhì)（NNM），研究人員表明，通過利用光學(xué)反射，可以超越分層前饋網(wǎng)絡(luò)的范例，以連續(xù)和無層的方式實(shí)現(xiàn)人工神經(jīng)計(jì)算。

復(fù)雜信息是輸入光的波前編碼。該介質(zhì)轉(zhuǎn)換波前可以實(shí)現(xiàn)復(fù)雜的計(jì)算任務(wù)，例如圖像識別。在輸出端，光能集中在明確定義的位置，例如，可以將其解釋為圖像中物體的身份。這些計(jì)算媒體可以小到幾十個波長，并提供超高的計(jì)算密度。他們利用亞波長散射體實(shí)現(xiàn)復(fù)雜的輸入/輸出映射，超越了傳統(tǒng)納米光子器件的功能。

一段時間以來，AI社區(qū)一直在尋找減少神經(jīng)網(wǎng)絡(luò)訓(xùn)練和推理所需的內(nèi)存和功耗的方法。與傳統(tǒng)方法不同，NNM非常具有前景，因?yàn)樗哪芎淖畹汀?/p>

該方法的固有并行性可以顯著提高計(jì)算速度。結(jié)合超高計(jì)算密度，NNM方法可用作各種信息設(shè)備中的模擬預(yù)處理單元。

原文：shorturl.at/sJPS4

無監(jiān)督數(shù)據(jù)增強(qiáng)（UDA），實(shí)現(xiàn)更高效，更連續(xù)的半監(jiān)督學(xué)習(xí)

在最近的一篇論文中，Google AI研究人員證明，數(shù)據(jù)增強(qiáng)也可以應(yīng)用于未標(biāo)記的數(shù)據(jù)，用來推進(jìn)半監(jiān)督學(xué)習(xí)。他們的方法，即所謂的無監(jiān)督數(shù)據(jù)增強(qiáng)或UDA，能夠促進(jìn)模型預(yù)測在未標(biāo)記的樣本和增強(qiáng)的未標(biāo)記樣本之間保持一致。

在評估方面，UDA取得了出色的成果。例如，在IMDb文本分類數(shù)據(jù)集中，UDA僅使用20個標(biāo)記樣本實(shí)現(xiàn)了4.20的錯誤率，超過了在25,000個標(biāo)記樣本上訓(xùn)練的傳統(tǒng)模型。

在標(biāo)準(zhǔn)的半監(jiān)督學(xué)習(xí)基準(zhǔn)CIFAR-10和SVHN上，UDA優(yōu)于所有前述方法，CIFAR-10的錯誤率為2.7％，僅有4,000個樣本，SVHN的錯誤率為2.85％，只有250個樣本。

UDA也適用于像ImageNet這樣的大型數(shù)據(jù)集。當(dāng)使用標(biāo)記組的10％進(jìn)行訓(xùn)練時，UDA將前1/前5精度從55.1/77.3％提高到68.7/88.5％。對于具有130萬額外未標(biāo)記數(shù)據(jù)的完整ImageNet，UDA進(jìn)一步將性能從78.3/94.4％提升至79.0/94.5％。

這項(xiàng)工作表明，可以應(yīng)用數(shù)據(jù)增強(qiáng)來增強(qiáng)半監(jiān)督學(xué)習(xí)。對于半監(jiān)督學(xué)習(xí)方法的數(shù)據(jù)稀缺，這一方法非常有效。此外，即使有大規(guī)模數(shù)據(jù)，UDA也能提供強(qiáng)勁的收益。

為了避免UDA過度擬合，研究人員提出了一種稱為TSA的技術(shù)，用于存在大量未標(biāo)記數(shù)據(jù)的情況。這種學(xué)習(xí)已被證明與數(shù)據(jù)提升相匹配并且令人驚訝地超越了監(jiān)督學(xué)習(xí)。

增強(qiáng)神經(jīng)網(wǎng)絡(luò)的泛化

Google AI的研究人員建議在網(wǎng)絡(luò)層使用標(biāo)準(zhǔn)化的邊際分配作為推廣差距的預(yù)測因子。在對邊際分布與概括之間的關(guān)系進(jìn)行實(shí)證研究后，他們證明了距離的正確歸一化和邊際分布的一些基本統(tǒng)計(jì)可以準(zhǔn)確地預(yù)測廣義差距。

研究人員還介紹了深度模型推廣（DEMOGEN）數(shù)據(jù)集，包括756個訓(xùn)練深度模型，以及他們在CIFAR-10和CIFAR-100數(shù)據(jù)集上的訓(xùn)練和測試性能。這些模型是CNN和ResNet-32的變體，具有不同的流行正則化技術(shù)和超參數(shù)設(shè)置，從而引發(fā)了廣泛的泛化行為。例如，在CIFAR-10上訓(xùn)練的CNN模型的測試精度范圍為60％至90.5％，一般化差距為1％至35％。

這項(xiàng)工作為AI社區(qū)提供了一個用于研究泛化的工具。它還鼓勵進(jìn)一步研究隱藏層中的泛化間隙預(yù)測器和邊緣分布。

多語言語音合成和跨語言語音克隆

學(xué)者們提出了一種基于Tacotron（中文語音合成）的多人多種語言文本到語音(TTS)的合成算法，能夠在多種語言中生成高質(zhì)量的語音。模型結(jié)構(gòu)采用基于注意力機(jī)制的序列到序列模型，根據(jù)輸入文本序列生成倒譜梅頻（log-mel,來自MFCC梅爾頻率倒譜系數(shù)）圖幀序列。

該模型是通過使用音位輸入表示來設(shè)計(jì)的，以激勵跨語言的模型容量共享。它還包含了一個對抗性的損失，以幫助理清它的說話者表示。通過對每種語言的多名使用者進(jìn)行訓(xùn)練，加入自動編碼輸入，并在訓(xùn)練期間來幫助穩(wěn)定注意力，從而進(jìn)一步擴(kuò)大了訓(xùn)練規(guī)模。

該模型對三種語言的高質(zhì)量語音合成和語音訓(xùn)練的跨語言傳輸具有重要的應(yīng)用潛力。例如，不需要任何雙語或并行語言的訓(xùn)練，它就能夠使用英語使用者的聲音合成流利的西班牙語。此外，該模型在學(xué)習(xí)說外語的同時還會適量調(diào)節(jié)口音。

它可以擴(kuò)展并利用大量低質(zhì)的訓(xùn)練數(shù)據(jù)，來支持更多的使用者和語言。

機(jī)器人物聯(lián)網(wǎng)的分析、挑戰(zhàn)與解決方案

機(jī)器人物聯(lián)網(wǎng)(IoRT)是一種新引入的理論，旨在定義機(jī)器人在物聯(lián)網(wǎng)場景中的綜合運(yùn)用。物聯(lián)網(wǎng)和機(jī)器人研究領(lǐng)域的研究現(xiàn)在已經(jīng)緊密地聯(lián)系在一起了，不能再分別看待。

它們的緊密聯(lián)系使兩個研究領(lǐng)域走到了一起，研究人員只有合作才能推動這兩個領(lǐng)域的進(jìn)步。本文試圖將這兩個領(lǐng)域結(jié)合在一起，提供了關(guān)于互聯(lián)網(wǎng)機(jī)器人的一個概述，分析和挑戰(zhàn)，可能的解決方案。該研究探討了IoRT架構(gòu)、智能空間集成以及機(jī)器人應(yīng)用等問題。

當(dāng)兩個或兩個以上的領(lǐng)域緊密聯(lián)系在一起時，將它們的研究和開發(fā)結(jié)合起來，并快速推進(jìn)它們就變得至關(guān)重要。機(jī)器人和物聯(lián)網(wǎng)結(jié)合的時代已經(jīng)到來，目的是幫助研究人員共同努力，推動相關(guān)理論、模型和應(yīng)用的發(fā)展。

它們的綜合運(yùn)用將有助于促進(jìn)研究，這些研究可用于幫助開發(fā)更多更好的應(yīng)用，例如家庭自動化、衛(wèi)生健康、交通、物流等。