據(jù)外媒報(bào)道，美國(guó)專利商標(biāo)局（U.S. Patent and Trademark OFFice）授予了蘋果公司一項(xiàng)泰坦項(xiàng)目專利，即用于推理、決策和運(yùn)動(dòng)規(guī)劃的機(jī)器學(xué)習(xí)系統(tǒng)和算法，以控制自動(dòng)駕駛或部分自動(dòng)駕駛的車輛。
蘋果泰坦項(xiàng)目概念圖（圖片來源：patentlyapple.com）
機(jī)動(dòng)車輛可以感知環(huán)境，并在沒有或僅有少數(shù)持續(xù)輸入的情況下進(jìn)行導(dǎo)航，因此被稱為自動(dòng)駕駛或無人駕駛車輛，是當(dāng)前研究和開發(fā)的重點(diǎn)。近日，由于收到可用硬件和軟件的限制，執(zhí)行用于分析車輛外部環(huán)境相關(guān)計(jì)算的最大速度還不足以在無人工指導(dǎo)下做出重要的導(dǎo)航?jīng)Q策。然而，即使使用快速處理器、大內(nèi)存和先進(jìn)算法，在不可預(yù)測(cè)的行為背景下，自動(dòng)駕駛車輛在客觀上也很難做出及時(shí)和合理的決策。不僅如此，車輛環(huán)境相關(guān)的靜態(tài)和動(dòng)態(tài)組件數(shù)據(jù)也不夠完整，且干擾信息很多。
通過采用基于神經(jīng)網(wǎng)絡(luò)的強(qiáng)化學(xué)習(xí)模型，各種方法和裝置實(shí)例可評(píng)估自動(dòng)駕駛車輛不同大小的行動(dòng)空間。根據(jù)一些實(shí)例，一種方法可包括確定自動(dòng)駕駛或部分自動(dòng)駕駛車輛在出行各個(gè)時(shí)間點(diǎn)當(dāng)前狀態(tài)的表示。
關(guān)于當(dāng)前狀態(tài)，該方法還可包括可行的識(shí)別操作。例如，在一個(gè)實(shí)例中，使用車輛傳感器捕獲的數(shù)據(jù)可在車輛的行為規(guī)劃器決策組件處進(jìn)行本地處理，并與地圖信息相結(jié)合，以確定當(dāng)前狀態(tài)和可行動(dòng)作。
在美國(guó)某些州，當(dāng)車輛在較為空曠，且?guī)坠锘驇子⒗飪?nèi)無轉(zhuǎn)彎的直線高速公路上行駛時(shí)，要評(píng)估的動(dòng)作數(shù)量可能相對(duì)較少；但在其他州，當(dāng)車輛接近擁擠的十字路口時(shí)，動(dòng)作的數(shù)量可能會(huì)較多。
在各種實(shí)例中，每個(gè)動(dòng)作可以包括多個(gè)不同組成屬性或特性，例如起點(diǎn)/源車道段（評(píng)估動(dòng)作時(shí)車輛所在的車道段）、目標(biāo)車道段（如果執(zhí)行該動(dòng)作，車輛將位于的車道段），目標(biāo)車道段中的目標(biāo)速度，相對(duì)于一個(gè)或多個(gè)其他車輛或物體的定位等。
車輛的決策組件可能負(fù)責(zé)評(píng)估給定狀態(tài)下的不同可行動(dòng)作，選擇其中一個(gè)動(dòng)作進(jìn)行實(shí)施，將所選動(dòng)作的抽象表示轉(zhuǎn)換為詳細(xì)的運(yùn)動(dòng)計(jì)劃，并向車輛的低級(jí)運(yùn)動(dòng)控制子系統(tǒng)（例如加速子系統(tǒng)、轉(zhuǎn)向子系統(tǒng)等）發(fā)出指令，以實(shí)現(xiàn)對(duì)應(yīng)于所選動(dòng)作的軌跡。
在一些少數(shù)實(shí)例中，多個(gè)實(shí)例或強(qiáng)化學(xué)習(xí)模型或可應(yīng)用于車輛中，以獲得動(dòng)作的相應(yīng)價(jià)值度量，且該價(jià)值度量可用于選擇要實(shí)施的動(dòng)作。而在另一些少數(shù)實(shí)例中，基于深度神經(jīng)網(wǎng)絡(luò)的機(jī)器學(xué)習(xí)模型（例如使用圖形或圖像輸入訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)模型）可用于強(qiáng)化學(xué)習(xí)模型。
蘋果的專利圖1為系統(tǒng)環(huán)境示例圖，其中可以使用強(qiáng)化學(xué)習(xí)模型評(píng)估不同大小的動(dòng)作空間，以助力指導(dǎo)車輛運(yùn)動(dòng)。在各種實(shí)例中，乘員可能會(huì)忽略車輛的決策組件做出決定，甚至?xí)簳r(shí)禁用車輛的決策組件；此外，在至少一個(gè)實(shí)例中，車輛的決策部件可以請(qǐng)求或要求乘員在特定條件下做出決策。
蘋果專利圖1（圖片來源：patentlyapple.com）
蘋果專利圖2為自動(dòng)駕駛車輛決策場(chǎng)景的示例圖，并展示了此類決策場(chǎng)景的相關(guān)問題特征。該系統(tǒng)必須了解駕駛員當(dāng)前路線以及并道的方式和時(shí)間；何時(shí)駛出坡道或變道；了解多種車速，以確保并道安全；檢測(cè)路況；了解路標(biāo)和路燈（停車、小心、前行）等等。該系統(tǒng)需要實(shí)時(shí)處理很多信息。
蘋果專利圖2（圖片來源：patentlyapple.com）
蘋果專利圖9為狀態(tài)和動(dòng)作屬性或?qū)傩缘氖纠渲械膶?duì)應(yīng)因素可被識(shí)別僅編碼中，用于輸入強(qiáng)化學(xué)習(xí)模型。
蘋果專利圖9（圖片來源：patentlyapple.com）
對(duì)于給定的可行動(dòng)作，要在編碼中表示的屬性或?qū)傩约?973）可以包括，例如，源或當(dāng)前車道段（#901）、目標(biāo)車道段（#902）、目標(biāo)速度或速度（#903）、相對(duì)于目標(biāo)車道段中的一輛或多輛其他車輛的相對(duì)定位選項(xiàng)（#904），以及上述實(shí)例軌跡中的可選疊加地圖修改（#905）。
