無論是對于ADAS還是自動駕駛，行人檢測一直是難點之一。除了傳統意義上的識別，預測運動軌跡也是行業關注的焦點。相比于前方車輛而言，行人的移動性方向更難預測。
根據此前一份某城市的交管部門的資料顯示，平均每年涉及人員傷亡的道路交通事故中因行人橫穿道路發生的交通事故占據相當大的比重。
行人過街所表現出的行為特點，大致可以分為四種類型：一是正常型，始終保持均勻步速，穩步前進。二是中途停駐型，行人橫越道路的途中，看到車輛較多，停頓不前或猶豫不決。三是中途加快型，這類行人過街多半是走到馬路中線后，看到汽車急速駛來，加快步伐搶行過街。四是中途放慢型，這類行人過街通常先是急忙快步奔跑搶行穿越，待到達中線后一看，路上沒有汽車來往，于是放慢步速，穩步行進。
在這四種過街類型中后三種類型對安全過街都存在一定的危險，因為此時行人過街的后續行為往往是駕駛員難以預測和估計的，極易造成駕駛員的判斷失誤而導致操作錯誤，從而導致悲劇的產生。
從人眼的角度，駕駛者更容易判別行人的意圖，但基于攝像頭等傳感器技術，這種直覺判斷并不容易。在自動駕駛場景下，車輛對行人的判斷是謹慎的，如果無法判斷下一步的運動軌跡，車輛必須在碰到行人的時候，進行減速。
原因是機器無法排除前方行人在本車輛前方徘徊的可能性。有這樣一家初創公司，現在正在嘗試通過機器學習的方式，來改變和提升車輛感知系統對周圍行人、騎自行車者運動軌跡判斷能力。
目前，從行業的技術發展來看，感知能力已經有了很大的進步和提升，但整個自動駕駛真正的核心在于決策與控制。
這家名為Perceptive Automata的公司聯合創始人Sam Anthony表示：“我們正在構建一個模塊，讓自動駕駛車輛能夠了解行人在道路上的心態。”這個軟件將“賦予機器看一個人的能力，比如：這個人想橫穿馬路，這個人知道我的車在那里。”
通常，機器學習技術使用可被客觀測量的數據來訓練算法。但在這樣的情況下，對于行人運動意圖和軌跡判斷并不是很實際。相反，軌跡感知依賴于人的主觀判斷來提供用于訓練其算法的數據。
這家公司安排人觀看視頻剪輯，然后給出行人標簽，以人的視角來給出最佳判斷：是否行人試圖穿過街道，是否注意到周圍車輛。然后，工程師使用這個標記的視頻數據集來訓練機器學習算法以做出相同類型的判斷。
Sam Anthony表示，汽車制造商應該把它看作是一種能有效地讀取車輛周圍行人心理的附加傳感器。然后，這個“傳感器”數據可以與攝像頭、毫米波雷達、激光雷達和其他硬件傳感器的數據進行融合，從而使得自動駕駛的感知和決策更為平滑、有效。
目前，包括Waymo、Uber等自動駕駛公司正從測試中收集數百萬英里的傳感器數據。他們是否可以通過傳感器數據來直接預測行人行為？
Sam Anthony認為，如果你沒有行人運動軌跡的預測模型，那么預測行人是否會過馬路要困難得多。畢竟，行人可能會站在路邊幾秒鐘等待正確的時機穿過街道。一個自動駕駛汽車最終關心的是行人是否在過馬路，而不僅僅是在下一秒他或她是否會這么做。
目前，Perceptive Automata已經成為英偉達的合作伙伴，同時公司的客戶還包括汽車制造商和Tier1以及一些初創公司。
類似的技術，在今年大陸集團發布的第五代車規級攝像頭MFC500系列也有提及。
這款攝像頭不僅可以在光線更暗的情況下使用，同時還可以應付更復雜的交通路況，以及，更精確的識別行人姿態，預測其未來的行動趨勢。
MFC500可識別人體的四肢、背包、五官，人體在攝像頭的鏡頭下，變成了移動的分段條形物體，通過軟件識別算法，依此可以判別出行人的姿態，包括但不限于行、坐、臥、立等狀態，以及判斷出大人還是小孩。
另外根據面部識別技術，還可以判斷出行人是否低頭行走還是注視著車輛，通過這些種種參數，最后計算出行人對于行車安全的系數，以此來對輔助自動駕駛。
視覺識別的關鍵目的是對行人運動的趨勢做出預判，提前預警可能發生的事故。這款攝像頭將于2020年投產，定位于多功能攝像頭，單顆不僅可以兼顧遠近多場景，同時也可以配合其他攝像頭，級聯完成更豐富的功能應用。
