大并發(fā)

我們在完成了阿里云這個(gè)項(xiàng)目之后，浙江大學(xué)的相關(guān)領(lǐng)導(dǎo)對我們很看重，把浙江大學(xué)研究生信息系統(tǒng)的改造項(xiàng)目，交給了我的課題組。為此，我們課題組經(jīng)過三年的努力，加上研究生院的老師一起，對整個(gè)研究生院的業(yè)務(wù)系統(tǒng)進(jìn)行了一次改造。

在這個(gè)改造項(xiàng)目當(dāng)中，最難的一點(diǎn)在于我們浙大每年有五千名研究生入學(xué)。然后這五千人一旦入學(xué)之后，會(huì)進(jìn)行一次集中選課，而且這個(gè)選課的流程是比較復(fù)雜的?？梢哉f這個(gè)業(yè)務(wù)系統(tǒng)，就需要支撐五千個(gè)人同時(shí)進(jìn)到這個(gè)系統(tǒng)進(jìn)行選課。這是一個(gè)高并發(fā)的項(xiàng)目。我們通過自己的努力，加上一些朋友幫忙，設(shè)計(jì)了一個(gè)很好的基于云的架構(gòu)。目前這個(gè)項(xiàng)目已經(jīng)順利結(jié)題，并已經(jīng)上線。我們浙大五萬師生目前每天都在使用這樣一個(gè)系統(tǒng)。

大數(shù)據(jù)

在2010年代，我們接觸的第三個(gè)項(xiàng)目才真正讓我認(rèn)識到什么叫做大數(shù)據(jù)。當(dāng)時(shí)在杭州本地有一家創(chuàng)業(yè)公司叫做淘淘搜。因?yàn)樘蕴运训腃EO，也恰恰是我們浙大的同事，他有一次來找我，說我們能不能合作，把淘淘搜的圖像庫給利用起來。這個(gè)圖像庫有多大呢？當(dāng)時(shí)的數(shù)據(jù)是大概有四千萬張圖像。我們從中抽取了大概兩百萬張圖像，主要是四類——衣服、包、鞋子、褲子。我們希望能設(shè)計(jì)出一種新的交互方法，這個(gè)基本上重用了我們之前的一些技術(shù)，就是草圖交互，我們希望通過草圖交互做一個(gè)以圖搜圖的功能。

在整個(gè)項(xiàng)目實(shí)施過程當(dāng)中，我們其實(shí)也借鑒了很多數(shù)據(jù)庫的相關(guān)技術(shù)，把數(shù)據(jù)庫里所謂的倒排索引技術(shù)，應(yīng)用到了我們圖像索引里面來。通過它，我們提供給用戶一個(gè)非常舒服方便的交互界面，使得用戶通過簡單的勾勾畫畫，就可以選中相關(guān)的圖象數(shù)據(jù)，后來我們上線了一個(gè)專門的App應(yīng)用放在蘋果的商店里叫“服飾繪”。通過這個(gè)應(yīng)用，用戶可以進(jìn)行勾畫、搜索最后形成購買。

通過這三個(gè)項(xiàng)目，以及各方面科研，我們有很多深刻的體會(huì)。在2010年代開始之后，整個(gè)業(yè)界擁有的計(jì)算能力非常強(qiáng)大了，也有了大規(guī)模的數(shù)據(jù)。而且這些數(shù)據(jù)就是由大規(guī)模的人群產(chǎn)生，因?yàn)楦卟l(fā)往往背后是一個(gè)大規(guī)模的普通用戶人群的出現(xiàn)。

這三者的合力其實(shí)給了我們一些契機(jī)，讓我們覺得數(shù)據(jù)驅(qū)動(dòng)方法已經(jīng)不能只局限于以前的小規(guī)模小樣本的數(shù)據(jù)，這個(gè)大數(shù)據(jù)的時(shí)代真的是來臨了。

但在這個(gè)心里面，其實(shí)一直記得當(dāng)時(shí)有一個(gè)宿愿，就是怎么樣做機(jī)器人這件事情？因?yàn)閷τ跈C(jī)器人，我們總是覺得它是很有智慧，很有力量的。它的這種能力的來源，是不是可以通過這種大計(jì)算、大并發(fā)與大數(shù)據(jù)的依托去做呢？這是當(dāng)時(shí)放在腦子里的一個(gè)問題。

智能家居時(shí)代

正是因?yàn)槲覀冊?010年左右完成的這一系列項(xiàng)目，使得各方面的合作紛至沓來，我們也有機(jī)會(huì)結(jié)合一些具體的項(xiàng)目來思考大數(shù)據(jù)如何應(yīng)用到機(jī)器人。后續(xù)我們做了兩個(gè)方面的探索：一個(gè)是在原有可視計(jì)算方面的探索，另一個(gè)是對人工智能與可視分析方法的探索。而這兩個(gè)探索的背景，是我們觀察到，最近幾年整個(gè)IT行業(yè)已進(jìn)入到智能家居時(shí)代。

可視計(jì)算方面

我們發(fā)現(xiàn)了一個(gè)趨勢，那就是視覺技術(shù)的重新興起。比方說我們在Rokid做了很多新的技術(shù)研發(fā)，特別是人臉方面。我們從人臉檢測、人臉識別、人臉表情、年齡判斷到性別判斷，做了一系列的工作。最近一段時(shí)間，我們在人臉年齡識別方面，在某一個(gè)人臉數(shù)據(jù)庫上已經(jīng)刷到了世界第一，因?yàn)槲覀冋业搅艘环N新的計(jì)算方法。

另外，我們在手勢識別方面也做了一些很有益的探索。當(dāng)時(shí)我們在設(shè)計(jì)Rokid的時(shí)候，有一個(gè)初衷，希望除了人能通過語言跟Rokid進(jìn)行交互，還能通過視覺通道來做各種各樣場景的交互，手勢是其中非常重要的一種手段。

人臉也好，手勢也好，其實(shí)我們發(fā)現(xiàn)，思路基本上都是通過大量數(shù)據(jù)的累積，來訓(xùn)練合適的模型。這種模型再結(jié)合具體的場景，進(jìn)行進(jìn)一步的改造跟提升，就能使它更加實(shí)用化。這其實(shí)是一個(gè)非常有意義的探索。在這個(gè)過程當(dāng)中，不僅僅是簡單去用深度學(xué)習(xí)等大數(shù)據(jù)處理方法，也要把之前小樣本學(xué)習(xí)里面的各種技術(shù)，比方說各種統(tǒng)計(jì)的方法要綜合利用起來。

Rokid是家庭里面的伙伴，所以我們覺得對Rokid這樣的設(shè)備，對家庭環(huán)境的認(rèn)知其實(shí)是非常重要的。所以我們結(jié)合相關(guān)項(xiàng)目的需求，著重做了幾件事情：第一個(gè)，我們研發(fā)了一個(gè)技術(shù)，就是如何從建筑平面圖當(dāng)中能夠快速的重建室內(nèi)三維結(jié)構(gòu)。因?yàn)閷τ谡麄€(gè)家庭環(huán)境來講，整個(gè)三維結(jié)構(gòu)的建立是非常重要的，而讓一般人去做一個(gè)交互生成一個(gè)三維的建筑平面圖，并不是每個(gè)人都可以完成的。所以比較合適的、折中的方式，就是盡量通過一些比較容易獲取的手段拿到這個(gè)三維信息。一個(gè)思路是，比如說樓道里經(jīng)常有一些建筑平面圖，類似于消防方面的信息，我們的技術(shù)可以通過這個(gè)圖直接進(jìn)行構(gòu)建。另外一個(gè)思路是，我們也做過嘗試，就是怎么樣從深度圖像里面去重建三維場景，這也是最近大家比較關(guān)心的一塊內(nèi)容就是SLAM。只有你對三維場景有認(rèn)知之后，很多家庭的應(yīng)用，場景里面的應(yīng)用就可以真的做起來了。

還有一個(gè)很有趣的點(diǎn)，怎么樣把視覺的方法跟語音的方法結(jié)合起來，或者說，做所謂的多模態(tài)識別？舉個(gè)例子，當(dāng)Rokid看到一個(gè)人的時(shí)候，不光是“見其形”，也是“聞其聲”。只有在此基礎(chǔ)上，我們對于見到那個(gè)人有更多的認(rèn)知，對他的了解或者判斷會(huì)更加的準(zhǔn)確。所以其實(shí)在這里是有很多的事情可以去做的，我們最近也在做這方面的一些探索?？偟膩碚f，這些內(nèi)容是在可視計(jì)算方面與智能家居的一個(gè)結(jié)合點(diǎn)。