這背后是被蘋(píng)果收購(gòu)的以色列PrimeSense公司,它是蘋(píng)果公司TrueDepth攝像頭和點(diǎn)陣投影器(Dot projector)背后的技術(shù)支持提供商。
在全球范圍內(nèi),“老牌”的Leap Motion和“新生”的Untouch(未動(dòng)科技)、uSens(凌感科技)、微動(dòng)、京龍睿信、車蘿卜、光暈Halo以及極魚(yú)科技等多家手勢(shì)識(shí)別公司算是中國(guó)代表公司。
從最早的消費(fèi)類電子市場(chǎng)(手機(jī)、VR頭顯)到如今的汽車市場(chǎng),手勢(shì)識(shí)別讓用戶能感受到“碟中諜”系列中阿湯哥在車內(nèi)對(duì)空氣揮手就能操作信息的場(chǎng)景。
而從目前的技術(shù)發(fā)展來(lái)看,實(shí)際上自動(dòng)駕駛汽車中間很重要的一環(huán)就是體驗(yàn),VR技術(shù)、AR技術(shù),所有這些技術(shù)都是用來(lái)增強(qiáng)用戶體驗(yàn)的。目前,利用攝像頭進(jìn)行手勢(shì)識(shí)別已經(jīng)成為部分高端車型的配置功能。
奧迪、奔馳、寶馬、大眾、福特等知名主機(jī)廠都在旗下的量產(chǎn)或概念汽車產(chǎn)品上加入了手勢(shì)識(shí)別技術(shù),但這些產(chǎn)品的識(shí)別率及使用流暢程度并不完美。此外,包括偉世通、德?tīng)柛R约拔④洝⒐雀?、三星等Tier1和IT公司也有發(fā)布類似產(chǎn)品方案。
在那些主打手勢(shì)控制的車中,寶馬7系無(wú)疑是一個(gè)典型代表。它可以識(shí)別6種預(yù)設(shè)手勢(shì)操作,實(shí)現(xiàn)音量、導(dǎo)航、通話和空調(diào)等的設(shè)置。大眾高爾夫的系統(tǒng)可以通過(guò)手勢(shì)滑動(dòng)控制菜單選項(xiàng)、電臺(tái)、滾動(dòng)播放列表和瀏覽媒體庫(kù),可操作選項(xiàng)會(huì)出現(xiàn)光暈提示,同時(shí)還有可視化交互反饋。
而在2015年初,奧迪帶來(lái)了處于開(kāi)發(fā)階段的手勢(shì)識(shí)別技術(shù)展示產(chǎn)品。有了它,后排乘客就可以通過(guò)手勢(shì)來(lái)控制后排娛樂(lè)系統(tǒng)的各項(xiàng)功能。
根據(jù)硬件實(shí)現(xiàn)方式的不同,目前行業(yè)內(nèi)所采用的手勢(shì)識(shí)別大約有三種:結(jié)構(gòu)光(Structure Light)、光飛時(shí)間(Time of Flight)以及多角成像(Multi-camera)。其中,寶馬、大眾等廠商采用的ToF,英特爾的結(jié)構(gòu)光技術(shù),以及谷歌的毫米波雷達(dá)技術(shù)。
同時(shí),手勢(shì)識(shí)別在實(shí)際落地上,也正在與中控、智能后視鏡、HUD等硬件進(jìn)行集成。而早前,谷歌更是宣稱,無(wú)人駕駛汽車已經(jīng)可以探測(cè)“數(shù)百種情況”,能自我識(shí)別交警舉起的停車標(biāo)志以及騎自行車的人所做的手勢(shì)。
同時(shí),手勢(shì)識(shí)別與語(yǔ)音識(shí)別的集成交互,也在成為趨勢(shì)。目前,國(guó)內(nèi)包括思必馳、云知聲等語(yǔ)音技術(shù)公司均有投資相關(guān)的手勢(shì)識(shí)別廠商。
此外,目前國(guó)內(nèi)多家自主品牌的下一代互聯(lián)智能車載系統(tǒng)中,都已經(jīng)將手勢(shì)識(shí)別作為其中一項(xiàng)功能進(jìn)行集成。從目前的車型規(guī)劃來(lái)看,2019年發(fā)布車型有望出現(xiàn)手勢(shì)識(shí)別的第一波高峰。
去年奇瑞汽車舉辦了一場(chǎng)小型內(nèi)部技術(shù)成果發(fā)布會(huì),發(fā)布了一系列AR(增強(qiáng)現(xiàn)實(shí))+語(yǔ)音控制+手勢(shì)識(shí)別等人工智能技術(shù)。按照目前透露的技術(shù)路線圖,這些技術(shù)有望在2018年左右陸續(xù)在奇瑞產(chǎn)品上量產(chǎn)應(yīng)用。
而將于近日上市的寶馬全新5系插電混動(dòng)版配備了全新“五維人機(jī)交互界面”,包含了自然語(yǔ)音識(shí)別、手勢(shì)控制、觸控屏幕、iDrive系統(tǒng)和熱敏按鍵。
Untouch(未動(dòng)科技)
去年7月,Untouch(未動(dòng)科技)正式發(fā)布4款3D視覺(jué)交互產(chǎn)品:3D手勢(shì)識(shí)別產(chǎn)品——黎曼平臺(tái),3D人臉識(shí)別產(chǎn)品——?dú)W拉平臺(tái),SLAM產(chǎn)品——笛卡爾平臺(tái),及場(chǎng)景重建產(chǎn)品——高斯平臺(tái)。
全球著名的ToF深度傳感器廠商PMD也宣布,選擇Untouch(未動(dòng)科技)的黎曼平臺(tái)作為中間件為客戶提供非接觸式的交互方案,雙方深度合作,推出了完整的手勢(shì)識(shí)別軟硬件一體方案。
未動(dòng)科技(Untouch)的核心競(jìng)爭(zhēng)優(yōu)勢(shì)一個(gè)是構(gòu)建了智能視覺(jué)交互技術(shù)的基礎(chǔ)性平臺(tái),另一個(gè)數(shù)以PB計(jì)的深度數(shù)據(jù)積累,二者結(jié)合保證了未動(dòng)科技國(guó)內(nèi)領(lǐng)先的嵌入式智能視覺(jué)交互技術(shù)。
目前,未動(dòng)科技(Untouch)推出了車載智能視覺(jué)交互產(chǎn)品。該產(chǎn)品基于未動(dòng)科技自主研發(fā)的國(guó)內(nèi)頂尖的3D手勢(shì)識(shí)別與3D人臉識(shí)別技術(shù),實(shí)現(xiàn)車內(nèi)智能座艙的非接觸式手勢(shì)控制、身份認(rèn)證與駕駛員狀態(tài)監(jiān)控,從而提供一種安全愉悅的車載人機(jī)交互體驗(yàn)。
未動(dòng)科技(Untouch)正在加強(qiáng)和拓展與Tier1的合作關(guān)系,從而把視覺(jué)交互技術(shù)應(yīng)用到更多的新車型中。
uSens(凌感)
2016年,uSens便與戴姆勒中國(guó)IT創(chuàng)新實(shí)驗(yàn)室一起展示了最新合作成果。這個(gè)車載手勢(shì)交互應(yīng)用了uSens的26自由度手勢(shì)追蹤以及6自由度頭部追蹤技術(shù),體驗(yàn)者不僅可以在ARVR場(chǎng)景中觀察3D汽車模型的內(nèi)外部細(xì)節(jié),而且可以進(jìn)行交互。
uSens和Leap Motion采用的是相似的原理,都是使用復(fù)數(shù)的紅外相機(jī)來(lái)識(shí)別人手的運(yùn)動(dòng)。公司把這款自研的搭載紅外相機(jī)的手勢(shì)識(shí)別模組稱為Fingo。
uSens在2017年2月正式公開(kāi)發(fā)售其手部追蹤解決方案——Fingo。Fingo集成軟硬件為一體,硬件上通過(guò)兩個(gè)紅外攝像頭及三個(gè)紅外輔助燈追蹤手部動(dòng)作,軟件上基于計(jì)算機(jī)視覺(jué)及深度學(xué)習(xí)等算法,實(shí)現(xiàn)對(duì)雙手骨骼的識(shí)別,大部分常用手勢(shì)均可實(shí)現(xiàn)精準(zhǔn)低延遲識(shí)別。
隨后,uSens發(fā)布新版Fingo SDK,在手勢(shì)算法底層進(jìn)行了改進(jìn),新增一系列雙手交互動(dòng)作,如握拳、手心寫(xiě)字、十指交叉等,在同類產(chǎn)品中,率先實(shí)現(xiàn)對(duì)大面積遮擋的雙手交疊類手部動(dòng)作的識(shí)別,并可實(shí)現(xiàn)對(duì)十個(gè)手指的細(xì)微運(yùn)動(dòng)追蹤。
微動(dòng)Vidoo
在去年4月份的上海車展上,微動(dòng)Vidoo發(fā)布了Vdrive車載手勢(shì)識(shí)別解決方案,實(shí)現(xiàn)傳感器定制到UI人機(jī)交互界面設(shè)計(jì)全閉環(huán)。
微動(dòng)Vidoo從功能需求出發(fā),進(jìn)行算法優(yōu)化裁剪,生成定制化方案;制定硬件通信接口與通信協(xié)議;量身打造標(biāo)準(zhǔn)化動(dòng)作指令設(shè)計(jì)、UI設(shè)計(jì)、操作反饋設(shè)計(jì)。此外,通過(guò)HMI的動(dòng)作設(shè)計(jì)環(huán)節(jié)以及底層的基礎(chǔ)數(shù)據(jù)分析,還可以明確區(qū)分用戶是有意進(jìn)行手勢(shì)操作指令的下達(dá)還是不經(jīng)意的無(wú)意識(shí)動(dòng)作。
公開(kāi)資料顯示,微動(dòng)手勢(shì)識(shí)別技術(shù)的獨(dú)特之處主要體現(xiàn)在,復(fù)雜的核心算法以及大量的數(shù)據(jù)運(yùn)算不依賴于主機(jī)去完成,而是依靠硬件設(shè)備上的FPGA獨(dú)立運(yùn)算單元。Vdrive的手勢(shì)識(shí)別解決方案,采用120Hz高頻雙目深度傳感器,結(jié)合SoC架構(gòu)的FPGA芯片,將圖形圖像、人工智能算法都跑在車載Vdrive內(nèi)部完成,與上位車機(jī)進(jìn)行指令級(jí)通信。
極魚(yú)科技
去年,國(guó)內(nèi)以TOF方案實(shí)現(xiàn)手勢(shì)識(shí)別模塊的創(chuàng)業(yè)公司極魚(yú)科技宣布,已完成2000多萬(wàn)元的A輪融資,將主要用于車內(nèi)手勢(shì)識(shí)別模塊的研發(fā)和生產(chǎn)。彼時(shí),極魚(yú)科技的手勢(shì)識(shí)別方案可以各識(shí)別5-10種動(dòng)態(tài)和靜態(tài)手勢(shì),車廠可以自選3-5個(gè)手勢(shì),并自定義相應(yīng)功能。識(shí)別精度在1-2cm,識(shí)別準(zhǔn)確度可達(dá)95%以上。延遲率則可控制在25ms內(nèi)。
目前極魚(yú)科技現(xiàn)在可以提供中控手勢(shì)交互、HUD手勢(shì)交互、車內(nèi)乘客娛樂(lè)交互三種系統(tǒng)方案。去年12月,極魚(yú)科技進(jìn)入Startup Autobahn中國(guó)第一期加速器,并且獲得了和戴姆勒合作的機(jī)會(huì),推出基于手勢(shì)識(shí)別的車載娛樂(lè)系統(tǒng)。
京龍睿信
定位前裝及準(zhǔn)前裝HUD定向研發(fā)與銷售平臺(tái)的京龍睿信,除了HUD本身,還自帶主要交互方式語(yǔ)音識(shí)別,同時(shí)輔以手勢(shì)識(shí)別。其中,手勢(shì)識(shí)別主要通過(guò)“上下左右”四個(gè)方向的手勢(shì)動(dòng)作來(lái)識(shí)別相應(yīng)的指令;這個(gè)是通過(guò)HUD機(jī)體面向車主一側(cè)的夜視紅外線傳感器實(shí)現(xiàn),它可以識(shí)別用戶動(dòng)作。
去年,京龍睿信與阿里YunOS達(dá)成合作,雙方將基于YunOS系統(tǒng),合力推出京龍第三代HUD產(chǎn)品H3。這款產(chǎn)品將進(jìn)一步實(shí)現(xiàn)圖像效果、距離、溫度的優(yōu)化匹配,在實(shí)現(xiàn)語(yǔ)音、手勢(shì)等智能交互的基礎(chǔ)上,將手勢(shì)芯片和產(chǎn)品上揚(yáng)窗口改版完成。在保證圖像清晰、色彩不眩暈、明暗環(huán)境可識(shí)別的前提下,增加角度識(shí)別力,讓產(chǎn)品與更多車型達(dá)到匹配。
光暈網(wǎng)絡(luò)
2016年底,總部位于深圳的初創(chuàng)團(tuán)隊(duì)光暈網(wǎng)絡(luò)科技也發(fā)布其HUD產(chǎn)品光暈Halo,該產(chǎn)品歷經(jīng)約兩年時(shí)間的研發(fā)。作為一個(gè)專注于車內(nèi)交互功能的團(tuán)隊(duì),光暈網(wǎng)絡(luò)科技讓他們的首款HUD產(chǎn)品主打手勢(shì)識(shí)別、語(yǔ)音交互以及AR導(dǎo)航三位一體的集成體驗(yàn)。
光暈Halo的攝像頭以自上而下的角度識(shí)別用戶特定的手勢(shì),從而執(zhí)行命令。該技術(shù)由光暈網(wǎng)絡(luò)科技團(tuán)隊(duì)利用人工智能技術(shù)對(duì)200多萬(wàn)張不同手勢(shì)的特定姿態(tài)圖片進(jìn)行訓(xùn)練;通過(guò)數(shù)據(jù)壓縮,他們將5TB的原始手勢(shì)數(shù)據(jù)庫(kù)控制在5MB左右,這樣大幅減少實(shí)際應(yīng)用中耗費(fèi)的計(jì)算資源。
樂(lè)駕科技(車蘿卜)
北京樂(lè)駕科技有限公司于2015年7月1日正式發(fā)布了全球首個(gè)基于語(yǔ)音與手勢(shì)操控的“車蘿卜”(Carrobot)HUD智能車載機(jī)器人。成立于2015年1月的樂(lè)駕科技,憑借在語(yǔ)音技術(shù)方面(思必馳)的積累和優(yōu)勢(shì),樂(lè)駕成立之初就定位于將打造一個(gè)基于語(yǔ)音操控和人機(jī)對(duì)話技術(shù)的人車交互平臺(tái)。
其基于機(jī)器視覺(jué)的疲勞駕駛與視線偏離檢測(cè)技術(shù)應(yīng)用,通過(guò)在產(chǎn)品前置的攝像頭,不僅可以完成手勢(shì)識(shí)別的應(yīng)用,還可以實(shí)現(xiàn)基于機(jī)器視覺(jué)的疲勞駕駛與視線偏離檢測(cè),主要包括三部分:檢測(cè)人臉檢測(cè)技術(shù)、臉部特征定位技術(shù)和疲勞檢測(cè)技術(shù)。