剛剛收購深鑒科技的FPGA巨頭:賽靈思面向媒體記者在深舉行了“汽車產(chǎn)業(yè)最新技術與產(chǎn)品說明會”。會議期間,賽靈思的大中華區(qū)銷售副總裁唐曉蕾、汽車產(chǎn)品營銷經(jīng)理孫蕾蕾和機器學習高級產(chǎn)品營銷經(jīng)理羅霖紛紛出席發(fā)表精彩演講,面向日益蓬勃發(fā)展的自動駕駛市場分享了賽靈思最新的車用技術解決方案、與合作伙伴的合作狀態(tài)以及對未來市場的布局。
會議開始,賽靈思大中華區(qū)銷售副總裁唐曉蕾向記者介紹了賽靈思的發(fā)展歷程和最新產(chǎn)品消息,以及公司在中國自動駕駛汽車領域的布局與展望。
作為FPGA的發(fā)明者,賽靈思發(fā)展至今取得了不少傲人的成就,是全球首個無線晶圓發(fā)明者,現(xiàn)在全球擁有4300多項專利。2017年,賽靈思的銷售額達到23.5億美元,所占全球市場份額超過60%,在各個細分行業(yè)擁有2萬多位客戶。為進一步開拓中國市場,賽靈思于今年4月正式宣布成立Greater China,開啟了大中華地區(qū)的新篇章。
同年3月,賽靈思推出了新一代技術:自適應計算加速平臺(簡稱ACPA)?!安煌趥鹘y(tǒng)的GPU和CPU,ACPA的性能甚至超越了FPGA。我們將ACPA定義為一個全新的產(chǎn)品類別,希望未來能夠廣泛使用在從云到端的工業(yè)、數(shù)據(jù)中心的邊緣計算等應用領域?!辟愳`思大中華區(qū)銷售副總裁唐曉蕾表示,“這是一個智慧的時代,孕育了車聯(lián)網(wǎng)、5G、云計算、工業(yè)自動化等新興行業(yè)。而在大數(shù)據(jù)的驅(qū)動下,我認為異構計算已成大勢所趨?!?br /> 隨著汽車的轉(zhuǎn)型和升級換代,賽靈思也將扮演愈加重要的角色。從2004年發(fā)展至今,賽靈思在汽車行業(yè)的市場份額一直保持穩(wěn)定增長。截止今年,賽靈思的產(chǎn)品已經(jīng)覆蓋29個OEM品牌和多達111種車型,其中不乏多家歐美一級供應商例如:BOSCH、Continental等?!拔磥頃性絹碓蕉嗟幕ヂ?lián)網(wǎng)公司進入汽車領域,類似于百度先前發(fā)布‘阿波羅’,菜鳥研發(fā)自動駕駛,京東打造送貨機器人等。而在這個急需創(chuàng)新的市場,賽靈思的一系列新產(chǎn)品已經(jīng)在很多新興汽車領域廣受好評,產(chǎn)品包括雙核的Zynq 7000和七核的Zynq MPSoC,主要用于全屏視像及駕駛員狀態(tài)監(jiān)控,以及拖車影像、攝像頭、環(huán)視系統(tǒng)和雷達領域。特別是在汽車雷達領域,賽靈思幾乎占據(jù)了100%的市場份額?!?br /> 如今在中國市場,賽靈思的FPGA自動駕駛解決方案已經(jīng)被多家ADAS公司采用,其中包括百度、海康、奇美等自動駕駛公司?!傲硗庖粋€好消息就是,賽靈思近期已經(jīng)完成了對中國深鑒科技的收購,未來將在人工智能、大數(shù)據(jù)、邊緣計算等領域帶來更多的創(chuàng)新應用和技術突破!”
賽靈思最新汽車方案:布局4D雷達,展望ACAP
針對新興汽車市場,賽靈思汽車產(chǎn)品營銷經(jīng)理孫蕾蕾在會上總體介紹了賽靈思技術在汽車領域的應用情況,包括賽靈思汽車方案介紹,商業(yè)部署及市場競爭優(yōu)勢,未來發(fā)展等。作為現(xiàn)場可編程門陣列(FPGA)與可編程片上系統(tǒng)(SoC)器件的領導者,賽靈思擁有顯著優(yōu)勢的高性能、高度靈活應變的可編程芯片,致力于航空航天與國防、ASIC 原型設計、音頻、汽車、廣播和 AV、消費類電子產(chǎn)品、數(shù)據(jù)中心、醫(yī)療、有線與無線通信等眾多行業(yè)的創(chuàng)新發(fā)展。
“我們的FPGA和SOC產(chǎn)品的優(yōu)勢在于能夠幫助客戶處理極為復雜的計算任務,允許創(chuàng)建自定義應用,并能夠隨設計的演進發(fā)展進行重新編程;且可編程 SoC 系列芯片還集成了功能強大的 ARM 處理器,在單芯片上就能實現(xiàn)軟件、硬件和 I/O,且全部都支持編程?!辟愳`思汽車產(chǎn)品營銷經(jīng)理孫蕾蕾向記者介紹到,“例如在汽車前端雷達應用中,F(xiàn)PGA就憑借并行處理的優(yōu)勢,相比GPU和其他CPU,實現(xiàn)了更低的延遲,更加符合汽車行業(yè)的技術標準?!?br /> 近兩年,越來越多的中國品牌也開始使用賽靈思的產(chǎn)品。對此,賽靈思汽車產(chǎn)品營銷經(jīng)理孫蕾蕾表示,“我們也發(fā)現(xiàn)很多中國汽車廠商對FPGA產(chǎn)品表現(xiàn)出濃厚的興趣,特別是在自動駕駛方面,相信未來5年會是賽靈思在中國市場上非常重要的一個發(fā)展環(huán)節(jié)?!?br /> 正如上圖所示,賽靈思的產(chǎn)品線其實幾乎可以覆蓋整部汽車,不論是前后左右的攝像頭、雷達,還是車上的大小處理器。此外,日益復雜的ADAS和AD系統(tǒng)也促進了賽靈思解決方案的普及。據(jù)2017年HIS Markit最新報告顯示,賽靈思在全球前裝攝像頭市場上占據(jù)了高達38%的份額,而且在未來5年內(nèi),這個數(shù)據(jù)還有望繼續(xù)增長。因為現(xiàn)在歐美NCAP法規(guī)還規(guī)定:每輛新的五星級車必須配備一個環(huán)視攝像頭和一個前端攝像頭,才算達到安全性能標準。
另一方面,賽靈思還站在新興的激光雷達傳感器技術前沿。其雷達產(chǎn)品所占市場份額預計高達90%以上,且適用于所有激光雷達技術。賽靈思汽車產(chǎn)品營銷經(jīng)理孫蕾蕾表示,“激光雷達還是一款很新的應用,整個行業(yè)標準尚未固定下來,工程設計一直在變化。在這樣的環(huán)境下,具備可編程特性的FPGA也就成了工程師的不二之選!當整體設計有所改變時,您只需做簡單的軟硬件更新迭代即可,無需重新制作一個新硬件,這樣就能節(jié)省很多研發(fā)時間,還有助于快速優(yōu)化用戶體驗。”
針對當今大部分汽車雷達僅能確定目的距離和方位的局限性,賽靈思也在努力研發(fā)4D成像雷達。所謂的4D雷達指 RF傳感器根據(jù)距離、方位、立面和目標的相對變距速率來確定目標的位置,還通過增加高程位置測量顯著增加接收通道的數(shù)量并提升相應的處理性能。因此,4D 雷達需要大量使用同步處理流水線,而這正是在賽靈思可編程架構中可實現(xiàn)的。對于需要充分感知周圍環(huán)境數(shù)據(jù)的無人駕駛汽車,4D雷達在安全駕駛方面的作用就顯得尤為重要。
而且OEM廠商若想開發(fā)出差異化產(chǎn)品,賽靈思也能提供幫助。FPGA的優(yōu)勢就在于IP支持用戶自行更新,且具有拓展性。賽靈思產(chǎn)品用戶只需基于同一個平臺使用同一類程序語言即可進行軟件更新,從而節(jié)省下大量研發(fā)時間,加快產(chǎn)品出貨速度。賽靈思的產(chǎn)品支持動態(tài)功能交換,即在同一個硬件上做到不同的功能,例如在高速和低速公路環(huán)境下,同一個FPGA可以根據(jù)駕駛需求為汽車提供不同的功能支撐,達到縮小系統(tǒng)尺寸的效果?!爸档靡惶岬氖牵愳`思是業(yè)界首個實現(xiàn)無線更新軟硬件系統(tǒng)的供應商,同時加強了FPGA的散熱能力?!辟愳`思汽車產(chǎn)品營銷經(jīng)理孫蕾蕾表示,“最近,賽靈思還與戴姆勒達成了合作。在基于人工智能的汽車應用方面,我們將為戴姆勒的汽車系統(tǒng)提供延時極低且功率高效的解決方案,以確保相關系統(tǒng)在高溫工作環(huán)境下也能正常運行。”
今年3月份,賽靈思還推出了全新器件:ACAP,可以實現(xiàn)針對工作負載的加速,具有軟硬件可編程引擎、IP子系統(tǒng)和片上網(wǎng)絡、高集成的可編程I/O;且支持最高800萬像素的攝像頭以及3級自動駕駛水平,能夠勝任在高速公路和城市路況。ACAP的整體優(yōu)勢在于:增加了通道帶寬,搭載了高性能、低功耗的用于環(huán)境認知的卷積神經(jīng)網(wǎng)絡處理功能,有望提升功能安全性。
面向ADAS及自動駕駛的賽靈思嵌入式視覺解決方案
在更深入的ADAS及自動駕駛的嵌入式視覺(包括深度學習)解決方案上,賽靈思機器學習高級產(chǎn)品營銷經(jīng)理羅霖也在現(xiàn)場通過大量的客戶案例,介紹了賽靈思是如何幫助軟件和算法工程師在自家平臺上進行ADAS和自動駕駛應用的創(chuàng)新。
目前,賽靈思的嵌入視覺解決方案主要包括計算機視覺和機器學習。而在實際應用中,ADAS在嵌入視覺方面一般有低時延、低功耗和低成本三大要求?!昂芏喙こ處熆赡軙ⅠR想到看上去完美符合這三項要求的ASIC。但我想提醒一下,人工智能的發(fā)展速度非???,每天都會產(chǎn)生大量新的神經(jīng)網(wǎng)絡,這就意味著ASIC得具有高度靈活性才能跟上快速的上市進程,很顯然ASIC目前還很難做到,而FPGA就不同了?!辟愳`思機器學習高級產(chǎn)品營銷經(jīng)理羅霖指出,“另外值得注意的是,在時延方面,并不是哪個系統(tǒng)的CPU跑得快或者主頻高,就能實現(xiàn)更低的延時。賽靈思的SOC通過片內(nèi)緩存數(shù)據(jù)的方式,搭載上大量的線上內(nèi)存,最終有效降低了系統(tǒng)時延。不過,雖然FPGA有這么多好處,但仍有很多工程師因開發(fā)難度高而尚未嘗試使用它。對此,賽靈思也給出了一套解決方案。”
針對嵌視視覺開發(fā),賽靈思專門推出一款名為人性的堆棧。它是一套包含最底層平臺和中間系統(tǒng)型開發(fā)工具,以及最上層框架與庫的完整解決方案。在底層平臺,賽靈思已經(jīng)為客戶定義好了一些標準且通過驗證的硬件平臺,包含很多傳感器、USB接口、MIPI接口。用戶可以直接在這個開發(fā)環(huán)境中選擇某個硬件平臺創(chuàng)建工程,即使是使用C、C++或OpenCL等高級語言,也能利用賽靈思優(yōu)化過的OPEN CV和機器學習庫快速部署自己的應用。
對此,賽靈思機器學習高級產(chǎn)品營銷經(jīng)理羅霖還通過講解幾位客戶的真實案例,來展示賽靈思是如何幫助客戶實現(xiàn)快速開發(fā)的。案例一是來自美國客戶關于車廠盲區(qū)檢測攝像頭的大項目:基于賽靈思ZCE02的硬件開發(fā)平臺,并利用了OpenCV的快速角點和密集光流算法兩個庫函數(shù)?!霸驹擁椖渴褂玫氖琴愳`思上一代SOC:ZC702,但在片內(nèi)每秒只能跑0.5幀,這是一個非常慢的速度。而在換成新一代MC SOC后,我們通過使用賽靈思的一系列系統(tǒng)級開發(fā)工具和庫并在無需客戶寫任何代碼的情況下,直接將幀率提升到了12幀,且超出了客戶最初希望達到每秒10幀的預期?!?br /> 而在先進的機器學習和深度學習領域,剛加入賽靈思的深鑒科技則帶來了CNN解決方案。此方案具有先進架構包括專為CNN設計的ISA,以及功能強大的PE陣列和靈活的數(shù)據(jù)控制流,通用于各類神經(jīng)網(wǎng)絡且具有擴展性,支持不同尺寸的賽靈思器件。它還提供了一個類似于工具鏈的全棧SDK,能夠大幅提高客戶將深度學習移植到ABJ的效率。
得益于深鑒科技的CNN方案,賽靈思曾為美國汽車行業(yè)的一位大客戶優(yōu)化了基于神經(jīng)網(wǎng)絡的物體(包括車、行人、自動車等)檢測功能,最終達到八通道每秒30幀的性能。另外一個成功案例是,賽靈思分別用SPN和SSD幫助某歐洲客戶通過神經(jīng)網(wǎng)絡實現(xiàn)像素級分割和物體實時檢測兩大功能,并達到了每個通道(共4個通道)每秒15幀的效果。
“后續(xù),我們將通過賽靈思的系統(tǒng)級開發(fā)工具SOC,進一步深度優(yōu)化深鑒科技的 DPU IP和工具鏈。”賽靈思機器學習高級產(chǎn)品營銷經(jīng)理羅霖還補充道,“我們希望將深度學習、計算機視覺和傳感器融合起來構建真實的嵌入式視覺系統(tǒng),同時在一個芯片上運行多個不同的神經(jīng)網(wǎng)絡,以便客戶實現(xiàn)差異化功能。”
在汽車雷達領域,賽靈思也有很多合作客戶在做全高清環(huán)視系統(tǒng)、單雙目的前視攝像頭、疲勞駕駛監(jiān)測系統(tǒng)等應用,甚至包括目前在國內(nèi)非常熱門的自動泊車系統(tǒng),也有的已經(jīng)開始規(guī)劃自主泊車。具體的客戶案例有如MINIEYE的3D BOX,可以檢測汽車顏色,識別車牌、車道線、行人、紅綠燈、交通標志、可行駛區(qū)域等信息。還有基于賽靈思深度學習的停車應用APA:采用4個魚眼攝像頭,可以檢測車身周圍的汽車和車位線等信息,從而幫助客戶找到合適的車位并順利泊車。