原标题：深度学习在无人驾驶汽车领域应用的研究进展 | 厚势汽车

厚势按：本文首先阐述了汽车界对无人驾驶的定义，然后详细分析了国内、外无人驾驶汽车的发展历史以及各车企和互联网公司的研究现状。通过详细分析无人驾驶汽车工作原理、体系架构设计以及具体实现方法，简单说明了目前无人驾驶汽车遇到的关键问题和难题，同时重点描述了目前深度学习在图像处理方面的突破性进展以及在无人驾驶汽车领域的应用实践，最后对无人驾驶的未来发展做了展望。

本文来自 2018 年 第 1 期《 智能系统学报》，作者是哈尔滨工程大学自动化学院的王科俊、赵彦东和邢向磊。

互联网技术的迅猛发展给汽车工业带来了革命性的变化，高精度地图的进步与普及使得车辆实时精准定位成为可能。与此同时，智能驾驶技术的广泛应用，使汽车驾驶变得更简单、更智能。互联网、高精度地图与智能驾驶技术相结合，共同推动了无人驾驶汽车技术的发展。

1. 无人驾驶汽车发展现状

近年来，随着市场对汽车主动安全和智能化需求的不断提高，无人驾驶巨大的社会和经济价值越发凸显，越来越多的企业与科研机构积极参与并推动无人驾驶领域的发展。目前阶段，能够实现完全无人驾驶的车辆还没有正式批量生产销售，但已经有相当一部分实验车型可以通过环境感知实现高度自主驾驶行为：如起步、加速、制动、车道线跟踪、换道、避撞、停车等。

表 1 NHTSA 对自动驾驶等级的定义

所示，目前大部分量产车型都还停留在组合功能辅助阶段（Level 2 级），要实现完全无人驾驶车的量产化，还有很长一段路要走。

1.1 国外无人驾驶汽车发展现状

20 世纪 70 年代初，美国、英国、德国等发达国家便开始进行无人驾驶汽车的研究，经过近 40 年的发展，在可行性和实用化方面都取得了突破性的进展 [2]。 1995 年，美国卡纳基梅隆大学研制的无人驾驶汽车 Navllab-V，完成了横穿美国东西部的无人驾驶实验[3]。 2005 年， 由美国国防部组织的 Grand Challenge 比赛中， 由美国斯坦福大学改造的无人汽车，经过沙漠、隧道、泥泞的河床以及崎岖陡峭的山道最终获得成功 [4]。近年来随着谷歌、特斯拉、奔驰、宝马等纷纷加入无人驾驶汽车的研究，使无人驾驶技术有了突飞猛进的发展。

作为当前无人驾驶的领跑者，Google X 实验室于 2007 年开始筹备无人驾驶汽车的研发工作，并于 2010 年公开宣布开始研发自动驾驶汽车。2012 年 5 月，美国内华达州的机动车驾驶管理处为谷歌的无人驾驶汽车颁发了美国首例自动驾驶汽车的路测许可。2015 年 6 月，谷歌 2 辆无人驾驶原型车开始上路测试。该车通过车顶上的扫描器发射 64 束激光射线以计算出与物体的距离，另一套在底部的系统测量出车辆在 X、 Y、 Z 三个方向上的加速度、角速度等数据，然后再结合 GPS 数据计算出车辆的位置，所有这些数据与车载摄像机捕获的图像一起被输入计算机，通过智能算法控制汽车的下一步行动。截至 2016 年 8 月，谷歌共有 58 辆无人驾驶汽车，这些车在加州、内华达州、德州、山景城、菲尼克斯和奥斯汀等允许自动驾驶汽车路测的地区进行实际路测，据 Google 发布的自动驾驶项目月报显示，截至 2016 年 8 月 30 日，累计行驶距离已经超过 180 万英里（约 290 万公里），平均每周1.5~1.7 万英里 [7~11]。

紧随其后的特斯拉 Model S 系列汽车，其 Autopilot 技术近年来已经取得重大突破，该系统可以通过车身配备的摄像头和雷达等多种传感设备感知外界环境，实现自动泊车、自动变道、自动巡航和自动控制车速等诸多辅助驾驶功能，获得众多试驾者的一致好评。据今年 5 月份的数据，特斯拉旗下电动汽车车主已通过 Autopilot 自动驾驶功能累计行驶了 1 亿英里(约 1.6 亿公里)。虽然目前特斯拉的 Autopilot 技术仅被美国国家公路交通安全管理局（NHTSA）认定为 Level 2 阶段，但是作为迄今为止量产车型中自动驾驶系统应用最成功的企业，特斯拉向我们展示了在某些特定路况下，汽车已经基本实现自动驾驶 [12]。

2013 年 9 月，奔驰公司宣布旗下 S 级轿车完成了从德国曼海姆出发行驶 100 公里到达普福尔茨海姆的无人驾驶路测。 2014 年 9 月在德国汉诺威举行的 2014 国际商业车辆展览上，奔驰向公众展示了旗下 FT2025 概念卡车原型，据了解该车已经在德国公路上实测通过，行驶速度可以达到 80km/h。2015 年 1 月，在国际消费电子展上奔驰发布旗下 F015 Luxury in Motion 自动驾驶概念级豪华轿车，并于 2015 年 3 月在美国旧金山通过路试。奔驰的新 S 级车运用了智能巡航系统、车道保持系统、路标识别系统、自动导航系统以及自动泊车系统，离完全自动驾驶也只有一步之遥 [13]。

2006 年，宝马开始在赛道上对汽车进行自动启动和停车等一些简单的测试。 2011 年，宝马首次在德国高速公路上对自动驾驶汽车进行公路实测，包括自动躲避障碍等。 2014 年 5 月，宝马正式公布了旗下辅助驾驶系统「Urban Roads： BAN research」，该技术可以提供预警和路线选择，并通过调整发动机的动力配置来辅助完成「自动驾驶」。2014 年 7 月，宝马与百度达成无人驾驶方面的合作，其中百度负责数据和服务部分，宝马则负责硬件设计制造任务。 2015 年底，宝马与百度合作研发的无人驾驶车辆顺利在北京完成了城市路况及高速路况混合测试。 2016 年 7 月 1 日晚，宝马、英特尔及 Mobileye 联合举行发布会，宣布三方合作，协同开发无人驾驶电动车 iNext，同时声明宝马将于 2021 年与两家合作伙伴共同推出无人驾驶汽车[14]。

图 2 奥迪无人驾驶汽车

据英国汽车杂志 Autocar 报道，全新一代奥迪 A8 将于 2017 年上市，率先采用全自动无人驾驶系统「Traffic Jam Assist」，该系统能够在无需任何人类干涉的情况下自动控制汽车，以时速 60 公里运行 [15~16]。

丰田于 2015 年对自动驾驶项目拨款 10 亿美元，同时与斯坦福、 MIT 和密歇根大学合作，特别值得一提的是，丰田是目前自动驾驶专利最多的车企，拥有 1400 多项专利技术 [17]。

2013 年 9 月，日产从日本政府获得第一张自动驾驶汽车牌照，从此可以在公路上测试自己研发的自动驾驶汽车。 2015 年 10 月，日产开始在东京首都圈测试电动车 Leaf（聆风）的自动驾驶版原型车（即 Piloted Drive 1.0 版本）。据悉，该车配置了 240 多个不同大小和形状的传感器，其中包括 5 个雷达、 12 个摄像头、 4 个激光扫描仪以及大量的超声波传感器，使车辆能够获取周围 360 度的全方位信息。 2016 年 7 月，日产在横滨总部发布了全新日产 Serena 第五代车型， 其中最引人注目的就是其最新的 ProPILOT 自动驾驶技术，该技术可使全新的 Serena 在单向车道中自动行驶 [18]。

2014 年 4 月，本田宣布将在日本宇都宫市的五条特定公共道路上测试一个辅助驾驶系统。 2014年 9 月，在美国底特律举行的 2014 届智能交通系统大会上，本田公司展示了全新的无人驾驶技术， 该系统可以实现自动转向、超车和变道等。 2016 年 5月，本田讴歌推出了第二代无人驾驶版 RLX 测试车，并在 GoMentum Station 基地进行了实地测试。

大众最早于 2005 年与美国斯坦福大学共同对一辆大众途锐（Touareg）进行无人驾驶改装， 2007 年又对一辆大众帕萨特运动款（Passat Sport Wagen）进行了无人化改装，两次都是为了参加由美国国防部高级研究计划局发起和赞助的无人驾驶汽车挑战赛，并且分别获得了第一和第二名的好成绩。2015 年 10 月，大众汽车与美国内华达大学合作，在墨西哥首都墨西哥城和美国亚利桑那州诺加莱斯（Nogales）之间完成了长达 1500 英里（约 2400 公里）的无人驾驶测试，成为有史以来在墨西哥境内完成的最长距离的无人驾驶测试 [19~21]。

图 3 福特无人驾驶汽车

福特于 2015 年宣布组建自己的无人驾驶团队，并任命已在福特供职 29 年的资深专家 RandyVisintainer 担任项目负责人。 2016 年 5 月，福特斥资 1.83 亿美元入股云计算公司 Pivotal Software， 意图增强自动驾驾驶技术中必不可少的云计算实力。2016 年 7 月，福特宣布与麻省理工学院合作，共同发起一项包括机器学习和自动驾驶系统在内的特殊研究计划，该计划的目的在于预防碰撞以及改善车辆自主线路规划 [22]。

作为全球最大的汽车技术和零部件供应商之一，博世在 2011 年就开始研究自动驾驶技术，并且一直在加州帕洛阿尔托技术中心附近进行自动驾驶车辆测试等相关工作。 2015 年，拉斯维加斯 CES 展会上， 博世在一辆 Jeep 切诺基车型上展示了其最新的辅助驾驶系统，该系统由智能预刹车、距离传感器、雷达和摄像头等模块组成，可以辅助驾驶员在各种紧急状况下更快速地做出应急避险动作。 2016 年 4 月和 6 月，博世分别在北京国际车展和位于美国密歇根州 Flat Rock 的试验场地上展示了他们在驾驶员辅助和自动驾驶方面的几款最新产品，其中包括 Home Zone Park Assist 自动泊车系统、驾驶员辅助系统、第六代超声波雷达和互联汽车等[23~25]。

2016 年 5 月 25 日， Uber 宣布获得丰田公司的战略投资，丰田除了帮 Uber 开拓现有的车辆租赁业务外，双方还计划在无人驾驶研发方面进行合作。 2016 年 8 月 19 日 Uber 宣布与沃尔沃合作，预计 2021 年推出无人驾驶出租车，原型车于当月起在匹兹堡上路测试 [26]。

Delphi（德尔福）汽车于 2015 年 3 月上路实测了自家研发的首款自动驾驶系统，该车基于一辆奥迪 SQ5 改装而成， 完成了从美国旧金山的金门大桥到纽约市中心大约 3500 英里（5600 多公里）的无人驾驶测试。2016 年 8 月 23 日，Delphi Automotive 和 Mobileye 宣布，将合作开发一款符合 SAE（美国汽车工程协会）规定的 4 级自动驾驶***解决方案，该方案为端对端、可量产、高性能和安全操作的全自动驾驶解决方案（市场上首个一站式 4/5 级自动驾驶解决方案） [27]。

Drive.ai 是一家 2015 年从斯坦福大学人工智能实验室分离出来的公司，各领域内在深度学习系统研发方面极富经验的专家组成了该公司的团队核心。该公司通过将深度学习应用于全自动集成驾驶堆栈，从而解决了车辆的自动驾驶问题。值得一提的是， Drive.ai 于 2016 年 4 月底获得了在美国加利福尼亚州测试无人驾驶汽车的执照 [79]。

2016 年 8 月 25 日， nuTonomy 公司利用 NASA + MIT 技术， 让无人驾驶出租车在新加坡率先完成试运营载客。该公司的无人驾驶出租车装有六套激光雷达检测系统，同时仪表盘上还有两个摄像头，用来扫描障碍和检测红绿灯变化。 nuTonomy 使用激光雷达数据能提供更准确的定位，不仅能检测道路上的物体，还能检测出汽车周围的静态物体。与此同时，该公司还在开发用于调配和指挥无人驾驶出租车的云计算软件，主要任务是部署无人驾驶出租车队 [28]。

1.2 国内无人驾驶汽车发展现状

我国从 20 世纪 80 年代末开始进行无人驾驶技术的研究工作。 1992 年国防科技大学成功研制出中国第一辆真正意义上的红旗系列无人驾驶汽车 [29]；2001 年研制成功时速达 76 公里的无人车； 2003 年研制成功中国首台高速无人驾驶轿车，最高时速可达 170 公里； 2006 年研制的新一代无人驾驶红旗 HQ3，则在可靠性和小型化方面取得突破；2011 年 7 月 14 日首次圆满实现了从长沙到武汉 286 公里高速全程无人驾驶实验，创造了中国自主研制的无人驾驶车辆在复杂交通状况下自主驾驶的新纪录，标志着中国无人驾驶技术在复杂环境识别、智能行为决策和控制等方面实现了新的技术突破，达到世界先进水平 [30]。

2005 年， 首辆城市无人驾驶汽车在上海交通大学研制成功 [31]。从 2009 开始，在国家自然科学基金委「视听觉信息的认知计算」重大研究计划支持下，分别在西安、鄂尔多斯、赤峰、常熟等地举办了七届「中国智能车未来挑战赛」。智能车挑战赛是现有的国内外唯一专门面向无人驾驶的赛事，对中国无人驾驶车辆研究起到很大的推动作用 [32]。

图 5 历届中国智能车未来挑战赛

在前几届比赛中，参赛无人车辆行驶还比较慢，需要较多的人工干预。在 2013 年之后，国内相关研究单位取得了突破性进展，参赛无人车辆已能在真实交通环境中进行顺畅地自主驾驶，与其他车辆进行交互。在诸多研究单位中，涌现出了清华大学、国防科技大学、同济大学、上海交大、军事交通学院、西安交通大学、北京理工、北京联合大学、南京理工大学、中科院合肥物资研究院、武汉大学、湖南大学等知名团队。这些团队已经和一汽集团、上汽集团、广汽集团、比亚迪以及长城汽车等国内众多车企开展了深度合作[33]。其中 2009 年与 2015 年中国无人驾驶车辆差异对比如图 6 所示。

由图 6 可以看出， 2009 年参赛无人车辆都是在现有商用车上经过加装外置传感器和外置控制器等设备改装而成。而在 2015 年参赛的部分无人车辆则体现了研究单位与车企深度合作的结果，已经将大部分传感器内置并结合车载总线进行控制和深度改造。

图 7 百度无人驾驶汽车

除此之外，国内 IT 巨头和各大自主车企近年来起也纷纷投入无人驾驶领域技术的研究。由百度深度学习研究院主导研发的无人驾驶项目于 2013 年起步，其技术核心是 AutoBrain，包括高精度地图、定位、感知、智能决策与控制四大模块。此后，百度于 2014 年成立车联网事业部， 推出了 CarLife、MyCar、 CoDriver 等车联网产品。 2015 年底百度深度学习研究院与宝马展开合作，在五环上公开演示了一辆全自动驾驶原型车（图 7）。

2016 年 7 月 3 日，百度与乌镇旅游举行战略签约仪式，宣布双方将致力于在该景区的道路上实现 Level 4 的无人驾驶 [34]。 2016 年 8 月，百度联合福特共同投资激光雷达厂商 Velodyne，希望降低自动驾驶汽车激光雷达的生产成本。2016 年 9 月 1 日， 在百度世界大会上，李彦宏与 NVIDIA 创始人黄仁勋联合宣布，双方将达成合作，共同创建从云端到汽车的自动驾驶平台，并向中国乃至全球的汽车制造商开放。与此同时，百度高级副总裁、自动驾驶事业部负责人王劲宣布美国加州机动车辆管理局（Department of Motor Vehicles）已向百度美国(Baidu USA)发放第 15 张自动驾驶汽车上路测试牌照，同时宣布成立瞄准 NHTSA Level 3 等级自动驾驶技术的 L3 事业部 [35]。截止目前获得 DMV 发放自动驾驶汽车路测牌照的公司如表 2 所示。

表 2 截止 2016 年 8 月 29 日，DMV 发放的自动驾驶汽车上路测试牌照

上汽集团于 2013 年 9 月正式与中国航天科工三院在上海签署战略合作协议，开始实施无人驾驶计划；不久之后，奇瑞宣布与武汉大学合作开发无人驾驶汽车，北京现代则选择与军事交通学院展开合作。 2015 年宇通汽车公司研发了一辆无人驾驶公交车，实现从郑州到开封城际快速路的演示[36]。同年在江苏常熟成功举办的「中国智能车未来挑战赛」上，由军事交通学院代表队研制的「军交猛狮号」获得第一名 [37]。 2016 年 4 月 13 日，长安汽车公司生产的无人驾驶汽车从重庆出发。 途经西安、 郑州、石家庄抵达北京，穿越了大巴山、秦岭、终南山，跨过了华北平原、黄河，行程近 2000 公里。这是我国首次无人驾驶汽车超长距离行驶实测[38]。 2016 年 7 月 6 日，北汽集团新技术研究院与盘锦市大洼区人民政府在北京举行无人驾驶汽车战略合作协议签约仪式。双方决定借助盘锦市大洼区独特的「红海滩」旅游资源，在「红海滩国家风景廊道」合资合作共同开发建设无人驾驶体验项目 [39]。

图 8 京东无人驾驶物流车

2016 年 9 月 1 日，京东集团对外宣布， 由其自主研发的中国首辆无人配送车已经进入道路测试阶段，10 月份即将开始试运营，2017 年有望进行大规模商用[40]。最近，乐视宣布在多处开展无人驾驶汽车研发工作，滴滴 CTO 张博宣布将无人车作为重大战略布局，并很快实现无人车上路 [41]。

综上所述，尽管国内车企和各大 IT 公司进入无人驾驶领域较晚，但是随着越来越多的企业和单位积极投入到其中，中国智能汽车发展迅速，已接近国际先进水平。

2. 无人驾驶汽车产业化瓶颈

目前，无人驾驶汽车产业化的瓶颈问题主要有两点： 1. 如何更高效快速实现多传感器信息融合；2. 在保证自动驾驶性能的前提下如何最大限度降低设备成本。

2.1 更高效快速实现多传感器信息融合

研发人员当前面临的最棘手的难题是如何提高汽车的视觉能力，目前所研发的计算机视觉系统还非常的低端和原始，如何赋予计算机系统接近甚至达到人类的视觉能力是一项非常巨大的挑战。

无人驾驶汽车不仅需要时刻留意周边的其他车辆和行人，还必须能够实时准确检测到周围的车道、地面上的画线，认识交通标识、交通灯的含义，应对风霜雨露以及强光、弱光等一系列复杂的环境因素的影响。此外，由于某些原因无法「看清」道路标志甚至在一些根本没有道路标志的环境时，为了实现完全无人驾驶，目前唯一可行的办法是通过多传感器实现信息融合进行决策，如图 9 所示综合利用各类传感器的优势从而达到理想的效果。

图 9 无人驾驶实现示意图

例如，毫米波雷达可以准确检测前方车辆的距离和速度，具备较强的穿透雾、烟、灰尘的能力；但无法对目标进行细化识别。而相机视觉系统可以获得车道线、交通信号等目标的颜色和形状等细节，从而进行深度识别；但是相机视觉系统的测距能力没有激光雷达精确。激光雷达通过点云来建立周边环境的 3D 模型，可以检测出包括车辆、行人、树木、路缘等细节；但是价格极其昂贵。所以，通过激光雷达、毫米波雷达与视觉传感器进行融合，不仅可以进行目标物体检测，而且能很好的实现目标空间测距，目标图像识别等功能。类似，GPS 定位、视觉传感器和激光雷达进行融合，则可以实现车道保持所需的高精度定位，也能实现多类障碍物目标检测。

表 3 车载传感器指标对比

在选择车载传感器时，一般需要综合考虑多个方面的属性，包括传感器精度、分辨率、灵敏度、动态范围、传感器视角、主动与被动传感器、时间精度和输出接口，以及误报率、温度适应性、黑暗适应性、不良天气适应性、硬件成本、信号处理能力等。表 3 为各类车载传感器性能指标对比，表 4 详细分析实现不同自动驾驶功能所需传感器及感知参数。

表 4 实现不同自动驾驶功能所需传感器及感知参数分析

在自动驾驶功能实现中，通过将雷达、激光雷达、视觉相机（单目、双目和红外）、超声波等常见传感器进行信息融合，最终形成适当的车载传感器配置。如图 10 所示，车载传感器需要实现覆盖长、短距检测、兼顾日夜行驶等需求。

图 10 实现自动驾驶系统所需的车载传感器配置

毫米波雷达，以及前向相机系统 [42]。

图 11 Junior 无人驾驶车辆及其传感器配置

由于需要种类繁多的传感器，因此如何将上述各种设备采集到的信息实现高效快速的融合，形成一个稳定而智能的系统从而应对各种突发事件和挑战，是目前实现无人驾驶的关键 [44]。

2.2 如何降低制造成本

当前无人驾驶汽车所使用的设备主要包括激光雷达、车载摄像头、车载雷达、超声波设备以及 GPS 等。通过利用激光雷达生成的点云，可以对反射障碍物的远近、高低甚至是表面形状有较为准确的估计，从而大大提高障碍物检测的准确度，我们能够在谷歌、 Uber 和其他许多科技公司原型汽车上见到这种设备 [45]。图 12 为目前常用激光雷达 LiDAR 示意图，其中 Velodyne HDL-64E

由于激光雷达售价过高导致无法量产，目前阶段能够用于量产自动驾驶系统的传感器主要还是毫米波和摄像头。全球汽车毫米波目前主要生产供应商为博世、大陆、海拉、富士通、电装、天合、德尔福、奥托立夫和法雷奥等，国内主要有湖南纳雷科技、厦门意行，华域汽车、杭州智波、芜湖森思泰克等，用于车企量产车上的 ADAS 预警类应用 [46]。目前利用摄像头实现量产无人驾驶系统，最具代表性的厂商包括 Mobileye ，此外 Omni、PointGrey、大恒和微视等公司近年来也取得很大进展。

众所周知，基于单一摄像头所采集的 2D 图像无法得到准确的距离信息，而基于多摄像头生成深度图的方法又需要很大的计算量，难以很好地满足无人车在实时性上的要求。其次光学摄像头受光照条件的影响巨大，物体的识别准确度不稳定。上述两点一直是摄像头实现无人驾驶的重要阻碍，伴随着近年深度学习技术在图像和声音领域不断取得突破性进展，越来越多的公司和企业开始研究利用双/多摄像头来应对复杂的道路环境从而实现无人驾驶，从业比较有名的包括中科慧眼、地平线、东软和 Minieye 等 [47]。与此同时通过利用 GPU 强大的并行运算能力，在运算速度、效率不断提高的同时大幅度降低计算成本，更是为深度学习在自动驾驶领域的应用铺平了道路[48]。

3. 深度学习在无人驾驶领域的应用

深度卷积神经网络模型（CNNs） [87] 颠覆了传统计算机模式识别领域 [88]，在 CNNs 被广泛应用前，大多数的识别任务都是先经过人工特征提取步骤，然后用分类器判断，而 CNNs 的重大突破在于它能自动地从训练样本中学习特征。尽管 CNNs 模型已经被商业化使用了二十多年[89]，但直到近些年才被大规模地应用，这主要是因为以下两项重要的突破：

1. 大规模的人工标注数据集更容易获取，如ImageNet 大规模视觉识别挑战（ILSVRC） [90]，这些数据可以作为训练集和验证集。

2. CNN 学习算法目前能够在大规模并行图形处理单元（GPUs）上运行，极大地提高了学习效率和预测能力。利用深度神经网络自主学习的特性，先通过高性能 GPUs 将庞大复杂的神经网络模型训练好，然后移植到嵌入式开发平台， 就可以实现对图像/视频信息进行实时高效的处理[49]。

近年来，从自动驾驶初创企业、互联网公司到各大 OEM 厂商，都正在积极探索通过利用 GPUs 构建神经网络实现最终的无人驾驶。

3.1 无人驾驶硬件实现

将深度学习应用于无人驾驶领域的代表公司包括 Mobileye 以及 NVIDIA 公司， 他们正在把基于深度卷积神经网络的方法用于汽车的视觉系统中，并取得了非常理想的效果。其中 Mobileye 公司生产的基于多核架构芯片 EyeQ4（图 13 左）， 使用了 4 颗核心处理器、 6 颗 VMP 芯片、 2 颗 MPC 核心和 2 颗 PMA 核心，每秒浮点运算可达 2.5 万亿次， 而功耗仅有 3 瓦。通过一系列的算法， EyeQ4 可以同时处理 8 部摄像头（最高 36fps）产生的图像数据[50~51]。

倍以上的深度学习计算能力 [52]。

图 14 英伟达自动驾驶开发平台

PX2 构建的 Drivenet 平台（图15），已在自动驾驶车辆上进行实车测试（图 16）。这种端到端方法能充分利用 NVIDIA 的统一 AI 架构，让车辆实现无线接收更新，从而在它的一生中不断添加新功能和新能力 [81] 。

图 15 NVIDIA 深度学习无人驾驶平台解决方案

2016 年 9 月 13 日， NVIDIA 在 GPU 技术大会上推出了体积更小的节能型车载深度学习计算平台 NVIDIA? DRIVE? PX 2 AUTOCRUISE， 该平台采用了新型单处理器配置，功耗仅为 10 瓦。此外许多移动终端产品芯片供应商已经开始为自动驾驶技术提供带有 GPU 单元的嵌入式处理器。例如高通、三星近年来也推出了各自的车载嵌入式平台：高通骁龙 602A 应用处理器，恩智浦的 BlueBox，Mobileye 的 EyeQ5 等拓展面向汽车的产品组合， 实现多系统支持的感知功能；三星处理器芯片目前主打车机互联系统、汽车智能硬件等。

由于深度学习方法对图像处理的高效性，使得无人驾驶汽车可以利用单/双摄像头初步实现对自动控制的需求，减轻了传统方法中对昂贵的激光扫描仪来建立 3D 全景地图的依赖性。虽然相比于激光扫描仪，利用摄像头采集的信息精度稍低，但完全可以满足日常无人驾驶的需要，而改进的深度学习算法通过对多摄像头信息融合处理，模拟人的双眼生成立体空间图像，从而轻松判断距离，实现更好的自动控制功能 [53~61]。

3.2 无人驾驶算法实现

图 17 双通道网络示意图

17），同时输入左视图和右视图两幅图像，利用网络计算出两幅图像的视差图像，从而控制车辆的前进方向 [62]。

图 18 训练图片示例

将 Siamese 网络的双通道输入结构应用于深度神经网络，在传统深度学习的优势之上，还可以通过两幅图像之间的差异从而判断周围物体的远近（图 18），从而合理操控汽车实现无人驾驶 [63]。

通过不断调节网络的隐层数和进行海量训练最终达到以下效果（图 19）。

近年来， NVIDIA 公司通过采用卷积神经网络（CNNs）实现无人驾驶取得很大突破。该公司研究人员将摄像头捕捉到的原始图片通过 CNNs 映射为汽车的方向操控命令，只需提供少量的训练数据，系统就能自动学会驾驶技术，甚至可以工作在视线不清晰以及无车道标志线等区域，例如停车场或者崎岖的山路上。

图 20 数据采集系统结构图

图 20 展示了该系统的训练数据采集模块的块状示意图，数据采集车通过三台摄像机采集视频信息，并且同步记录驾驶员操控方向盘的偏转角度，通过汽车的控制网络（Controller Area Network，CAN）总线获取方向控制命令。为了使系统能够独立于汽车的几何尺寸，采用 1/r 来表示方向控制命令，其中 r 是以米为单位的转弯半径。该系统使用 1/r 而不是 r 的目的是防止在直线行驶时出现奇点（直线行驶的转弯半径无限大）。同时规定左转弯的 1/r 值为负数，右转弯的值为正数。

图 21 训练神经网络模型

图像输入到 CNNs 计算方向控制命令，将预测的方向控制命令与理想的控制命令相比较产生误差，利用误差值不断训练调整 CNNs 模型的权值，使得网络模型输出的方向控制命令与人工驾驶或者调整后的控制命令的均方误差最小，如图 21 为训练系统示意图。

图 22 通过将中间摄像机的数据输入模型生成方向控制命令

训练完成后，模型通过采用中间摄像机数据生成方向控制命令，具体过程如图 22 所示。

该 CNNs 一共包含九层网络（1 个归一化层， 5 个卷积层和 3 个全连接层），输入图像被映射到 YUV 平面[93]，然后传入网络进行逐层训练，详细网络结构如图 23 所示。

网络的第一层采用硬编码技术对输入图像进行归一化 [92]，网络前 3 个卷积层使用了 strided 卷积，其中 stride 为 2x2，卷积核大小为 5x5，后 2 个卷积层选用 unstrided 卷积，卷积核大小为 3x3。在 5 个卷积层之后添加 3 个全连接层，最后输出为一个控制数字，即转弯半径的倒数。此外在训练过程中通过人工添加了一些偏移和旋转来补充数据，训练网络如何修复较差的姿势和视角，其中调整的幅度按照正态分布随机选取。

上方：输入 CNN 模型的图像

左下：第一层特征映射的激活状态

右下：第二层特征映射的激活状态

图 25 没有路的图片示例

上方：输入 CNN 模型的图像

左下：第一层特征映射的激活状态

右下：第二层特征映射的激活状态

图 24 和图 25 分别展示了两张不同输入图片在前两层网络的激活状态， 在图 24 中，特征图片清晰地勾画出路的边界，而在图 25 中夹杂了大量噪音，表示网络模型从图中找不到有用的特征（道路信息）。

与 NVIDIA 无人驾驶解决方案稍有不同，Mobileye 在自动驾驶的布局分为三个部分，感知、高精地图和驾驶决策（图 26）。

图 27 Mobileye 自动驾驶实现道路的语义级特征描述

Mobileye 在自动驾驶领域的感知技术比较成熟，已经大量运用在已有产品中，该技术主要提供一个环境模型（Environmental Model），包括运动和静止的物体、车道线、可行驶区域和交通标志等。通过多年的技术积累，让 Mobileye 在环境模型方面能够提供的内容远超竞争对手，在其他车企还在尝试提高单一车道线的检测精度时，Mobileye 已经可以提供道路的语义级特征描述，例如当前行驶车道的左右车道线、左右车道的左右线以及道路分叉等等，均通过深度神经网络识别（图 27）。

Mobileye 将感知任务划分成多个模块，每个对应一个人工监督的神经网络，所得出的效果已经可以产品化。目前 Mobileye 利用深度学习进行进行训练，训练过程中考虑了驾驶过程中的时序性（图 28），最终实现短时预测 [84~86]。

2016 年 2 月 18 日，加州大学圣地亚哥分校（UCSD）的工程师们开发了一个非常便宜、有效的行人检测系统，该系统是基于视觉信号进行实时探测（图 29）。加州大学圣地亚哥分校的电气工程教授 Nuno Vasconcelos 表示：他们的算法可以通过每秒 2 至 4 帧的速度，检测行人的变化，有效避免行人突然停止移动而出现的紧急刹车或造成意外事故。该算法的错误率只有其他现有类似系统的一半。

此外，剑桥大学研发团队利用图像识别和深度学习技术研发的 SegNet 系统仅利用传统的相机来实现对周围物体的识别（图 30）。它能实时将街景照中的物体分成 12 个类别，例如道路、建筑物、电线杆、路牌、行人、路标和骑自行车的人等，同时还能应对不同的光照和阴影条件，以及夜间环境，该系统可以保持实时工作状态并可以在较短时间内对各种新图像进行评估，标记像素的准确度达到 90% 以上。过去的系统使用的传感器都是以昂贵的雷达或激光技术为基础，并且无法达到 SegNet 的精度和实时性。在 GPS 失效的地方，该系统可以帮助无人驾驶汽车确定位置和方向，实时识别出各种不同的路况 [64]。

剑桥大学研发团队运用了深度学习的技术来训练 SegNet 系统，希望它能在更复杂的环境及气候条件下能识别出物体。通过剑桥大学的一组本科生手工标记 5000 张图片中的所有像素，研究人员利用这 5000 张图片训练 SegNet 并进行测试，最终达到理想的效果 [65]。传统基于视觉的汽车安全系统常常面临既要实时分析视频图像，还要快速得到正确的结论的难题。通常情况下简单的「梯级检测」计算机视觉算法可以快速检测出很多行人特定的图像，但无法在恶劣环境下分辨行人和外观类似的物体。另一方面，机器学习算法或者称为深度神经网络可以进行这种复杂的模式识别，但是这种算法过于缓慢，无法进行实时的行人检测 [66]。剑桥大学研发团队创造的 SegNet 系统结合了两者的优势，既保证了实时性，而且有很高的识别精度。

图 31 深度学习端到端模型介绍

与此同时 comma.ai 的创始人 GeoHot 不但把公司的自动驾驶技术和代码开源，同时开源驾驶采集数据， 包括前视摄像头裁剪的数据， 共计 7.25 小时，分为 11 个视频， 160*320 大小，还包括了 GeoHot 采集的转向、制动、速度以及惯导数据，以及图像输入和控制输出的同步时间数据。通过利用深度学习模型进行 End-to-End 方法进行训练（图 31），将摄像头的原始图像作为输入，直接输出车辆的速度和方向，来拟合逼近最优驾驶策略。

4. 无人驾驶汽车行业发展前景预测

随着市场对汽车主动安全技术、智能化等技术的需求不断增加，越来越多的企业投入其中，共同推动无人驾驶汽车的发展。与此同时，伴随着无人驾驶汽车使用的各种传感器、计算机在性能、技术方面已经取得了很大的进步，价格也将大幅降低，无人驾驶技术的门槛越来越低，前景也越来越明朗。特别是近年来深度学习在图像识别方面取得突破性的进展，更是为无人驾驶技术的成熟增添了强劲的活力，而利用 GPU 高效的图像处理性能，从硬件上更高效、经济、快捷实现了实时图像处理。虽然国内外的智能车辆研究取得了极大的进展，但是从近期的谷歌无人驾驶汽车和特斯拉自动驾驶汽车的事故来看，相关技术实用化还面临多重挑战，因此未来无人驾驶将需要在以下几个方面取得进步：

首先，需要面向自动驾驶功能进行传感感器选择和优化配置。由于交通环境的复杂性，需要高精度的传感器进行环境检测。现阶段传感器均受其工作范围限制以及气候环境因素和车辆运动的干扰，无法保证所有情况下的保证安全驾驶的行车要素的准确检出。以激光雷达为典型的外部传感器价格昂贵，极大限制了实际大范围应用。未来激光雷达会变得更小、更轻便，集成度更高，价格更低以及变成固态。面向复杂环境感知需求，通过融合多种传感器的数据来实现感知、定位、决策和规划，这是无人车近期的发展方向。

其次，需要面向自动驾驶重新设计的车载集成系统。结合全新自动驾驶架构设计，结合集成化控制系统和新型总线分布，对自动驾驶功能进行扩展和集成。通过集成更优秀感知和决策算法的车载软件，使得自动驾驶系统具备更高安全性和鲁棒性。再次，需要 V2X 无线网络支持。通过车联网络实现信息共享和传感器视距和感知范围扩展。需要高精度 GPS 定位和高精度的 3D 地图支持，降低对高精度环境感知的要求，降低实现高级自动驾驶系统的难度。

此外，需要高性能计算平台支持。通过集成高性能车载计算平台，结合深度学习技术，扩展车辆智能化水平。通过接入远程智能服务实现智能扩展与共享，将人工智能技术的新突破应用于无人驾驶 [67~78，81~83]。

无人驾驶汽车发展的终极目标，就是建立一个车辆网络化、信息化、人车合一的自动平台，能够实时，全天候，高效的无人驾驶系统。无人驾驶技术可以极大的提高社会生产力，产生巨大的社会效益，同时改善人们的出行方式，让我们的生活环境更美好。

编辑整理：厚势分析师盖布林

转载请注明来自厚势和厚势公号：iHoushi

点击阅读原文，查看文章「汽车科技一周要闻回顾（3.18~3.24）」