本文选自中国工程院院刊《Engineering》2021年第6期

作者：侯越，李秋晗，张晨，陆国阳，叶周景，陈逸涵，汪林兵，曹丹丹

来源：The State-of-the-Art Review on Applications of Intrusive Sensing, Image Processing Techniques, and Machine Learning Methods in Pavement Monitoring and Analysis[J].Engineering,2021,7(6):845-856.

编者按

在现代交通系统中，道路作为车辆和行人使用频率最高的民用基础设施之一，其服役状况和使用寿命直接影响通行体验和效率。因此，在路面发生不可逆损伤之前进行路面健康监测和及时养护，对于保障公共交通服务质量以及通行安全至关重要。

中国工程院院刊《Engineering》2021年第6期刊发《埋入式传感、图像处理技术和机器学习方法在路面监测与分析中应用的最新研究进展》。文章指出，通过路面结构动力响应监测和路面状况评估可有效表征路面损伤状况，埋入式传感器、图像处理和机器学习是目前常用的三种路面结构动力响应监测技术和分析方法。为此，文章综述了近年来上述三种技术在路面工程中的应用现状，并阐述了这些技术在未来路面工程监测与分析中的发展方向。

一、引言

在现代交通系统中，道路是车辆和行人通行的重要交通基础设施之一。道路的服役性能和使用寿命直接影响了人们的出行体验和效率，是需要在道路全寿命周期内考虑的重要因素。因此，监测路面健康状况并进行必要的路面养护对保障公共交通服务质量以及通行安全至关重要。

传统的路面监、检测主要通过人工现场检查，来识别路面病害，并评估路面服役状况。由于公路里程的逐渐增多，通过人工方式监测并评估路面服役状况变得日益困难。近年来，各项先进技术在路面结构动力响应监测和路面服役状况评价中得到了广泛的应用，包括各项可用于监测路面结构状况的埋入式传感技术，可用于评价路面状况的图像处理技术，以及可用于分析或预测路面材料和结构性能的机器学习方法。这些先进技术的应用在一定程度上可以取代人工检测/检查手段，有助于提高路面养护效率，指导养护决策，最终帮助改善和维持路面服役质量和通行性能。

本文从路面传感技术、图像处理技术和机器学习方法三方面介绍了当前路面结构动力响应监测研究的最新进展。在路面传感技术方面，主要介绍了埋入式传感器以及物联网（IoT）技术在路面监测中的应用；在图像处理技术方面，主要介绍了几种可有效识别路面病害类型的典型算法；在机器学习方法方面，介绍了与路面工程应用相关的基本理论和典型方法。这些技术/方法在道路工程应用中主要有以下优势：①能实现路面动力响应的长期监测；②能自动/半自动检测/识别部分典型路面病害类型；③作业周期短，人工成本低。但上述方法也存在如下缺点：①相比于传统方法，常需要聘用经过专业培训且技术熟练的道路工程师；②上述方法分析工作需要以大量监测数据为基础；③许多基础理论仍处于发展研究阶段，因此可能不像传统方法那样成熟。

近几十年来，上述三种技术的应用极大地推动了路面监测与分析的发展，提高了公共交通基础设施的服役性能和使用寿命。为了帮助土木工程师进一步了解道路监测新技术，本文总结了近年来路面监测和分析中的埋入式传感技术、图像处理技术和机器学习方法的最新进展，并提出了这些技术在路面监测与分析中的应用和未来发展。

二、埋入式传感技术和物联网技术在路面监测中的应用

目前，应用于路面监测的传感技术主要包括非埋入式和埋入式。非埋入式包括目视检查、导管、摄像机、挡光板和雷达系统等。这类方法由于不需要开挖路面，安装部署过程简易方便，但检测效果容易受到天气条件的影响。埋入式监测，需要在路面结构中埋入传感器，用于监测路面在车辆循环荷载和各种环境因素耦合下的动力响应。通过分析路面结构动力响应数据，可以获取交通和结构状态的信息，对交通基础设施管理和路面养护具有重要意义。本文总结了典型的埋入式传感和物联网技术在道路监测方面的发展，如图1所示。

图1 路面监测采用的典型埋入式传感技术

（一）结构监测

路面的结构状况对其服役性能和寿命至关重要。为了优化路面结构和材料的设计，延长道路的服役寿命，研究人员修建了多个测试车道，通过在路面结构中埋设传感器来监测路面在交通荷载和环境影响下的实时服役性能。

Rollings和Pittman利用埋入式应变计，建立了基于应力的路面性能分析模型。结果表明，温度和水对路面性能有显著影响。Sebaaly等利用埋入式应力-应变传感器，获取了路面在各种工况下的横向和纵向应变数据，并基于此确定了路面结构模量与应力/应变之间的关系。Xue和Weaver研究了美国俄亥俄州实验道路在车辆载荷作用下的路面结构动力响应，测试了不同路面结构的力学指标，并考虑了温度作用下结构受力的变化情况。Al-Qadi等对试验路面在车辆移动荷载作用下的应变响应进行了评估，研究了不同温度、车速、胎压下沥青路面的纵向压缩应变量。Gonçalves等在两种不同路面结构的路基顶部安装了应变计，监测加速加载试验中路面结构的应力响应。Timm和Priest在国家沥青技术中心的18个道路实验段安装了温度、湿度、应力和应变传感器，测量了沥青路面在不同车辆载荷和环境条件下的动力响应情况。Scholz采用应力传感器、温度传感器和位移传感器等，对俄勒冈州路面表层底部在不同轴载和气候条件下的弯曲应变情况进行了长期监测。Hornyak等在实验道路上安装了大量传感器，通过长期采集和分析传感器数据，比较了三种不同应变传感器的效果，优化了传感器的埋设深度和位置。Xue等利用沥青应变传感器和压力传感器监测路面在车辆移动载荷作用下的应变与应力响应情况，并进一步分析了道路的服役状况和交通信息。

（二）交通监测

车辆移动载荷下的路面动力响应信号可用于获取车速、车型和车重等交通信息。动态称重（WIM）系统是最常用的埋入式交通监测技术之一。根据监测车辆的车速范围，可分为高速动态称重系统和低速动态称重系统两类。高速动态称重系统用于交通数据采集和交通流量控制，最常用的传感器包括环路探测器、压电传感器和光纤传感器。低速动态称重系统主要安装在收费站内，多用于执法机构执行超重罚款。一般低速动态称重系统系统中使用的传感器主要有应力应变传感器、压电传感器和光纤传感器。

Zhang等利用应力-应变传感器测量路面在车辆荷载作用下的动态应变，分析获得车辆的轴间距和轴数。Xue等利用应变仪和压力传感器测量了路面在车辆移动载荷作用下的应力-应变信号，并利用ABAQUS软件采用高斯模型反算车重、轴距、交通流量等信息。

除了应力-应变传感器，压电传感器以其灵敏度高、尺寸小、刚度大等优点在动态称重系统中得到了广泛的应用。压电传感器的工作原理是将机械能转换为电能。在一定的受力范围内，产生的电荷与压电材料上的压力近似呈线性关系。压电传感器使用的材料包括压电陶瓷换能器（PZT）和压电聚偏二氟乙烯（PVDF）。Mazurek等使用聚偏二氟乙烯材料自制压电传感器，并进行了动态称重试验。结果表明，压电传感器具备良好的动态称重性能。Zhang等利用水泥基压电传感器监测了交通流量，建立了传感器电压输出与交通流量之间的数学模型。

光纤传感器也可用于动态称重系统。当车辆载荷作用于光纤传感器时，光纤传感器产生变形导致光强发生改变。通过分析光强的变化，可解析出车辆轴载信息。Malla等根据弯曲半径与输出光信号强度之间的关系，评估了光纤的光学特性。Yuan等通过在不同尺寸和加载率的动态压缩载荷实验，对研制的迈克尔逊干涉仪进行了测试。Batenko等讨论了将光纤传感器用于动态称重系统的可能性，并通过测量误差分析来提高称重精度。Zhang等开发出了基于光纤布拉格光栅（FBG）技术的动态称重原型系统。Zhao等将分布式光纤传感器嵌入圆形硅橡胶封装单元中，将其改造成压缩传感装置。Dong等将光纤布拉格光栅传感器安装在机场沥青路面上，监测路面在飞机载荷作用下的动态响应情况。在测试过程中采集了载荷偏移位置、速度、动态响应持续时间等信息。光纤传感器具有结构简单，电磁干扰低，监测范围广，安装简便，且易于维护的优势。然而，相较于传统的弯曲传感器和压电传感器，光纤传感器需要采用更为复杂的技术和昂贵的解调仪器来测量光信号的强度和相位。

埋入式传感系统可用于路面结构健康和交通信息监测。常用的埋入式传感器包括：光纤布拉格光栅传感器、应力-应变传感器、压力传感器、压电传感器、位移传感器、温度传感器和湿度传感器。上述传感器通常通过电缆将监测数据传输到采集设备，这种有线的传输方式也将导致监测系统存在一些缺点，如传感器安装过程路面结构损坏，现场数据采集量巨大，实时数据处理难度大，能耗高，数据采集设备成本高，系统安装过程复杂等。

（三）物联网在路面监测中的应用

物联网是一种利用传感器、电子标签和计算机网络将事物互联互通的新型信息网络，也是一个提供事物实时信息并实现自动跟踪和控制的平台。物联网技术在构建路面传感系统，实现路面的多指标监检测等方面具有巨大潜力。目前，物联网技术在路面监测中的应用研究主要集中在以下几个方面。

1. 微机电系统

微机电系统（MEMS）是集微传感器、微执行器、微机械结构、微电源和高性能电子集成器件于一体的微系统。系统尺寸仅为几毫米，甚至更小。

由于小尺寸的集成便利性，一些研究人员尝试将微机电传感器应用于路面的结构和材料监测。Alavi等使用小型球形封装系统，开发出了一种自供电智能压电传感器，用于监测沥青混凝土的受损情况。Ong等开发出了一种嵌入式无线微机电系统传感器，用于实时监测土木工程材料的含水量。Lian开发出了Pi传感器平台，用于测量X、Y和Z方向上的局部压力、应变、湿度、温度以及加速度。虽然，许多MEMS传感器已用于应力、应变和位移监测。但其监测效果受到施工过程中高温、潮湿和腐蚀环境的短期影响，以及冻融循环和车辆反复荷载的长期影响，仍需要开展大量试验来提高其耐久性。

2. 无线传感器网络

无线传感器网络（WSN）已广泛应用于数据融合、信号分析、事件定位、时间同步、独立监测、成本控制等众多领域。在道路工程中，无线传感器网络可以便捷地用于路面监测，如图2所示。Bennett等利用应变传感器和温度传感器评估了沥青路面的性能，测得的数据通过射频（RF）通信发送至距离监测点约4 m 的计算机上。Xue等在路面上安装了水平和垂直应变计、称重传感器、热电偶和湿度传感器，所有埋入式传感器均通过电缆与路边的V-Link无线节点相连，利用V-Link无线节点将数据远程无线传输至采集仪上。Haoui等利用Sensys Networks VDS240无线车辆监测系统，监测车身长度、车速和交通流量等信息。Pei等通过Mica2 Motes无线传感器网络，监测路面的温度和湿度，以此反映交通安全状况。

综上所述，使用无线传感网络进行路面监测具有诸多优点。然而，在实际工程中，复杂的道路环境对无线传感器网络的稳定应用提出了许多挑战，如嘈杂环境中的无线通信、数据传输和处理困难、软硬件开发以及无线传感器的能源供应等。

图2 基于无线传感器的交通监测系统。LoRa：远距离；VPN：虚拟专用网络

（四）小结

通过监测和分析路面在车辆荷载作用下的动力响应，可以获得路面结构状况和交通信息。路面结构状况包括：应力、应变、位移、挠度和振动，这些信息对于路面结构的预警和及时养护至关重要。交通信息包括：车流量、车重、车速和车型，这些信息对于提高路网运输效率、优化路网管理具有重要意义。传统的埋入式传感系统包括：应力-应变传感器、光纤传感器和压电传感器。由于需要配备适配器和数据采集设备，导致监测系统成本增加、能耗增高、集成度降低。为了克服传统埋入式路面监测的缺点，大量学者开始研究利用了微机电系统和无线传感器网络技术，开发基于物联网技术的路面监测系统。目前研究工作在路面结构数据类型、数据获取方式和监测精度等方面取得了进展，但在数据传输、解析，传感器集成、能耗和成本等方面仍有局限性，未来需要开展以下研究：

（1）路面结构在服役过程中受到车辆荷载和环境因素的影响，为了实现长期且稳定的监测，需要不断优化传感器封装与埋设工艺，提高埋入式传感器的性能，逐步满足低功耗、低成本、高精度、高集成度、抗压和防水的要求。

（2）在实际路面监测中，车型、车速和轮载分布以及温、湿度都不断变化。道路结构的服役状况和路面平整度随着道路服役时间的增加而下降。研究人员需要研发高效的数据处理算法和准确的评估模型，消除上述因素的不利影响。

（3）在路面监测中，埋入式传感器采用常规电源供电，能耗较高。为了实现大范围的监测、长期稳定的通信以及低成本的能源供应，未来的路面埋入式传感系统需要设计出一种自供电的系统架构。

（4）与传统的3G/4G通信技术相比，最新的5G通信技术可以大幅度加快实时路面监测的数据传输。然而， 5G通信仪器需要使用大功率电源。

（5）目前安装埋入式传感器需要破坏和重建路面结构。未来，可采用3D打印技术或预制技术，对传感器进行封装设计，实现传感器的预制，以提高埋入式传感器的部署效率，减少路面结构损伤。未来，预制技术和3D打印技术可用于路面结构施工或维护过程中埋入式传感器的设计、制造和安装，以实现更高效的监测。

三、图像处理技术在路面监测中的应用

在路面使用过程中，经常会出现路面病害。快速、准确地监测并检测路面病害对保障公共交通安全至关重要。裂缝是最常见的路面病害之一。典型路面裂缝类型包括：纵向裂缝、横向裂缝、斜向裂缝、龟裂以及块状裂缝或网状裂缝。

相较于传统的人工路面裂缝检测，图像处理技术处理速度更快、结果更准确。随着摄像机功能日益增强，拍摄的路面图像分辨率也越来越高，从而推动了图像处理技术广泛应用于路面病害的分析与识别中。图3展示了Zakeri等总结的通过图像处理技术检测路面裂缝的典型步骤：①使用摄像机获取裂缝图像；②对图像进行降噪预处理；③增强降噪后图像的对比度；④分割增强后的图像，充分提取裂缝信息；⑤图像后处理；⑥识别图像上的裂缝。

图3 利用图像处理方法检测路面裂缝的典型处理步骤

（一） 图像预处理

通常，路面图像是由遍布整个道路网的路面检测车拍摄。在实际路面图像拍摄过程中，路面破损、污点、积水、路面纹理和阴影等原因会形成图像噪点。不同的光照和外部条件会影响图像中的路面裂缝识别的效果。因此，在图像预处理阶段，通常需要采用图像滤波法消除图像噪声，同时保留目标区域中的有用特征。

图像滤波法可以分为空间域滤波法以及频率域滤波法。空间域滤波法具有批量处理图像的优点。在进行空间域滤波之前，需将原始图像转换为灰度图像。常用的空域滤波法包括：均值滤波法、中值滤波法以及形态滤波法。

1. 均值滤波法

根据Wang和Li的研究，发现均值滤波法对高斯噪声有较好的平滑效果。由于均值滤波法的处理步骤简单，这种方法处理速度较快。然而，它在平滑噪声的同时会模糊目标区域，导致部分边缘信息的丢失。均值滤波的表达式如方程（1）所示：

式中，g(x, y)为输出图像；为输入图像；D为滤波器覆盖的像素数；Sxy为待处理像素的邻域；m × n为图像大小。

2. 中值滤波法

与线性平均滤波器相比，中值滤波在统计学上属于非线性滤波器。由于裂缝的灰度值一般比邻域低，因此通过该方法可以很容易地识别出裂缝。同时，模板窗口越大，其降噪性能也越强。Ma等利用多方向窗口获取灰度图像的中值，不仅消除了噪声，还获得了裂缝的边缘特征。中值滤波的表达式如方程（2）所示：

式中，g(x, y)为输出图像；f(m,n)为输入图像；Sxy为待处理像素的邻域；m × n为图像大小。

3. 形态滤波法

Wang和Liu等采用形态滤波法进行裂纹检测。这种方法对脉冲噪声处理效果良好，主要包括开运算和闭运算两个过程。开运算是先腐蚀再膨胀的过程。闭运算是先膨胀再腐蚀的过程。腐蚀操作可以消除小亮点噪声，而膨胀操作则可以增强图像中的裂缝细节。

开运算采用的算法在保持原始图像亮度的同时能够平滑裂缝边缘、去除细节并消除图像中的尖锐噪声。闭运算采用的算法可以连接裂缝之间的缝隙，填补裂缝中的小孔。

4. 其他方法

除了上述三种方法外，还有许多新的方法。Wang采用了K邻域法，其效果不如中值滤波法和均值滤波法显著。Han K和Han HF以及Luo则采用基于区域特征或匀光处理的滤波方法。Wang对图像进行锐化，以提升边缘清晰度并降低噪声。Li等采用基于图形变换的改进Ostu法检测路面裂缝。Talab等使用Sobel算子进行滤波。Gao等采用高斯卷积法，Qiu使用基于梯度值的改进Sobel法。Zhu通过梯度倒数加权法消除噪声提高检测的准确性。

（二）图像质量增强

进行滤波后，图像中的大部分尖锐噪声会被消除，整个图像将变得模糊。在此阶段，图像灰度值越接近背景灰度值，图像的边缘越发模糊。为了提取边缘信息，需要使用灰度变换和直方图均衡化等方法来增强图像质量。

1. 灰度变换

灰度变换的主要功能是对原始图像的灰度范围进行压缩或扩展，以便调整目标区域（路面裂缝）与背景区域（路面矩阵）之间的对比度。

Wang和Di均采用了灰度变换进行图像增强。线性函数可以扩大整个图像的灰度范围。但它不仅能增强图像所含裂缝信息，也能增强噪声信息。分段线性变换如方程（3）所示：

式中，g(x, y)为输出图像；f(m,n)为输入图像；a和b分别为原始图像的灰度上限和下限，c和d则分别为已处理图像的灰度上限和下限。

灰度变换还可以划分为伽马变换和对数变换。对数变换和伽马变换的表达式分别如方程（4）和方程（5）所示：

式中，g(x, y)为输出图像；f(m,n)为输入图像；v为对数变换的底数；q为常数；γ为缩放程度的正常数。根据垂直和水平投影，利用灰度值可对横向裂缝、纵向裂缝或网状裂缝的类型进行判别。

2. 直方图均衡化

直方图均衡化可用于扩大灰度图像直方图的灰度范围，从而增加图像显示的细节。同时，直方图均衡化还能显示裂缝区域和背景区域的灰度值（在图像分割过程中，这点可以十分有用）。Wang、Di、Zhang和Zhu将这种方法应用于非常亮或者非常暗的图像增强处理。直方图的表达式如方程（6）和方程（7）所示：

式中，rk为灰度值；n(rk)为特定灰度值的数量；MN为图像像素总数；p(rk)为特定像素出现的概率；L为灰度值的数量；Sk为输出灰度值；T(rk)为变换函数。

除了上述方法外，研究人员还提出了其他图像质量增强方法。Wen提出了一种改进的路面裂缝图像预处理灰度校正算法。Gang等提出了一种基于有限脊波变换（FRIT）的图像增强算法，可用于路面裂缝较模糊的图像处理。Li等采用数学形态学方法对图像目标进行细化，去除冗余信息，保存裂缝的形态。

（三）图像分割

通过上述两个步骤（即图像预处理和图像增强），就可以获得低噪声、高对比度的路面裂缝图像。为便于识别裂缝，还需提取裂缝的边缘信息，并对图像进行分割。图像分割的方法包括形态学检测法、阈值分割法以及边缘检测法等。

1. 边缘检测法

边缘检测器可以清晰地描绘出裂缝的边缘信息。该算法根据裂缝边缘的灰度变化，利用微分函数对边缘信息进行识别。

如图4所示，有多种边缘算子。不同的路面裂缝检测任务（如边缘搜索和边缘检测）需要采用不同的边缘算子。

图4 边缘检测的部分算子

Roberts算子的表达式如方程（8）所示：

Prewitt算子的表达式如方程（9）所示：

拉普拉斯算子是一种二阶偏导数算子，可同时检测水平裂缝和垂直裂缝。拉普拉斯算子的表达式如方程（10）所示：

式中，f为原始图像；x为图像水平方向上的像素值；y为图像垂直方向上的像素值。

2. 形态学方法

形态学方法也可用于裂缝边缘检测。Zhang等认为，形态学方法容易丢失裂缝边缘信息。Li等认为，与其他使用图像像素值变化来提取裂缝边缘信息的其他边缘检测方法相比，形态学方法可以得到裂缝的形态学特征。Xu和Gao基于图像增强和数学形态学法提取了裂缝边缘信息。

3. 阈值分割法

阈值分割法用于根据计算得出的阈值，将图像划分为两部分。一般情况下，取值低于阈值的部分为裂缝区域，而取值超过阈值的部分为背景路面区域。阈值分割法分为全局阈值分割法以及局部阈值分割法。Ma等和Talab等提出了Ostu全局阈值分割法。通常，在使用该方法之前或之后，图像都可以通过灰度拉伸预处理来降低噪声。Ma等在进行Ostu阈值分割后，使用十字形结构元素进行闭运算拼合裂缝。Wang基于图像变换改进了水泥路面裂缝检测算法。Liu采用局部阈值分割法，这种方法对于有阴影的路面裂缝图像有良好的处理效果。Xu等还提出基于自适应形态滤波以及Ostu算法实现双阈值目标。

（四）图像后处理

有时，经过以上三个步骤处理图像后，仍然很难提取到裂缝边缘信息。在这种情况下，部分研究人员进行图像后处理，如形态学图像处理、最大连通域降噪或边缘连接等。

1. 形态学图像处理

在数学形态学方法中，膨胀、腐蚀、开运算和闭运算是图像处理的几种常用变换。Wang等利用膨胀和腐蚀运算，获得了清晰的边缘裂缝图像。Wang通过形态学运算降噪，更清晰地识别出裂缝。Ma等则采用对裂缝边缘产生的负面影响较小的闭运算来处理图像。

2. 图像降噪

有时由于噪声的存在，图像处理算法在检测不完整的裂缝边缘或裂缝形状模糊等情况下仍存在局限性，因此，许多研究人员采用最大连通域法进行降噪。Liu和Ma等使用最大连通域法，根据裂缝的连通性确定裂缝的位置。

3. 边缘检测和连接

此外，部分研究人员利用边缘连接来拼接裂缝，以获得更清晰的裂缝形状。Zhang提出了一种改进的基于根据小波变换的图像边缘检测算法。他还提出了一种全新的基于Canny的算法连接裂缝图像上不连续的边缘点。

（五）小结

随着计算机技术的发展，研究人员不断改进传统的裂缝检测方法，特别是针对低质量的路面图像提出了图像处理算法。图5所示为低光照条件下的典型沥青路面裂缝图像。为了获得更好的图像处理效果，许多研究人员提出了众多新颖的算法，这使得计算过程十分复杂，从而难以对路面图像进行批量处理。另外，由于路面图像具备不同的特征，许多现行图像处理算法无法自动适应所有类型的路面图像。因此，需要开展进一步的研究工作，提高算法的适应性，从而能够处理不同条件下的路面图像。

图5 低光照条件下典型的沥青路面裂缝图像

四、机器学习在路面分析中的应用

机器学习是基于计算机技术的一种先进算法与模型系统，其目标旨在利用模式（而不是明确的条件）来解决各种问题。通过使用机器学习方法，可以有效地计算、识别、分类和分析路面结构与交通流量信息。目前，应用于路面工程采用的机器学习方法主要有：支持向量机（SVM）、人工神经网络（ANN）以及卷积神经网络（CNN）等深度学习方法。

（一）支持向量机

支持向量机是由Cortes和Vapnik首先提出的。本质上，它是一种广义线性分类器，通过监督式学习对数据进行二分类。Cortes和Vapnik率先将这种方法用于数字手写体识别中。

支持向量机算法通过输入数据来构造决策边界，并将数据划分为两类，其中，xk∈Rn 为真实向量空间中的输入数据，yk∈{−1, 1}为数据标签。决策边界是用于求解学习样本的最大边距超平面。SVM使用内核机制，当核函数是线性时，它与逻辑回归没有本质上的区别；当核函数为非线性时，即使无法在基本特征空间对数据执行线性分离，支持向量机仍有良好的效果。

支持向量机的训练阶段可简化为损失函数的优化过程。将方程（11)和方程（12）联立，求解损失函数的最小值：

式中，JP为w和ek的函数；yk∈{−1, 1}为数据标签，k = 1, …, N；ek≥0为松弛变量；w∈Rn 和b∈R为超平面的法向量和相交点，R为实数；Φ(xk)是非线性可分问题的映射函数。

许多研究中已经采用支持向量机进行路面性能预测和病害检测。Hoang等采用基于人工蜂群（ABC）优化算法的多级支持向量机学习模型对路面裂缝进行分类。在研究中还采用了非局部均值、微分滤波等技术手段来分析裂缝特征，大幅提高了预测准确率。Schlotjes 等收集了众多的道路数据资料和结构失效专家诊断图，利用支持向量机预测了路面发生结构失效的概率。Pan等采用四种不同的函数，对坑槽、裂缝和路面进行了分类和路面故障预测。Fujita等通过机器学习对沥青路面图像进行了裂缝检测。

（二）人工神经网络

人工神经网络是一种具有较强的自学能力的非线性特征处理和预测网络结构。其基本结构可分为输入层、隐藏层和输出层。隐藏层之间大量的节点单元称为神经元。每个神经元都与上一层的神经元相连，如图6 所示。神经元的作用是对上一层的输入数据进行线性变换和非线性变换。输出层和隐藏层的区别在于，非线性激活函数替换为softmax函数，并使用其他逻辑函数来预测分类任务输出的概率。

图6 人工神经网络算法原理图

对于输入(X, Y) = {(x(1), y (1)), …, (x(m) , y(m) )}而言，单层神经元的线性变换和非线性变换可以用方程（13）和方程（14）表示：

式中，w为隐藏层的权重矩阵；θ为隐藏层的偏差；g(z)为激活函数。

常用的激活函数包括：sigmoid函数、双曲正切函数（tanh）和线性整流（ReLU）函数。激活函数必须采用非线性函数，否则，不管隐藏层的数量是多少，神经网络都只是输入值的线性组合输出。

softmax函数是有限项离散概率分布的梯度对数归一化，如方程（15）所示：

为了解决ReLU函数在负域的零导数问题，研究人员提出了一种高级Leaky ReLU函数，如方程（16）所示：

式中，λ为一个非常小的数。

除了上述前向传播过程外，人工神经网络最重要的一个部分是反向传播过程。输出预测值与其真实值之间的差值用损失函数表示。反向传播指的是使用梯度下降等优化算法找到损失函数最小值的过程。方程（17）为交叉熵损失函数：

式中，ŷ (i) 为实际输出值；y (i) 为期望输出值。

标准梯度下降算法和参数更新规则如方程（18）和方程（19）所示：

式中，wʹ 为更新后的权重；α为学习率，即每次迭代的梯度下降步长。

路面工程师将人工神经网络方法广泛应用于路面病害检测和性能评价。与Hoang等相似，Banharnsakun采用人工蜂群算法训练人工神经网络，对病害图像中的横向裂缝、纵向裂缝和坑槽进行分类，并与支持向量机的分类结果进行比较。比较结构表明，人工蜂群-人工神经网络优于支持向量机-人工蜂群。Elbagalati等提出了一种人工神经网络模式识别模型，用于协助路面管理系统（PMS）决策过程。Pan等采用人工神经网络方法实现快速、准确地识别路面裂缝和坑洞。

然而人工神经网络在图像识别方面存在一定的缺点，如计算成本高昂。当图像信息量大且神经元完全连通时，生成的参数数量会呈指数增长，会极大地增加神经网络的迭代时间。

（三）卷积神经网络

传统机器学习方法（支持向量机和人工神经网络）在路面监测和分析中已经得到了广泛的应用。近年来，随着计算机技术的快速发展，深度学习方法开始被应用于路面病害监测与检测。卷积神经网络是一种典型的采用卷积进行计算的深度神经网络。相较于只能使用全连接层的人工神经网络，卷积神经网络在计算效率方面更具有优势。卷积核参数共享机制以及各层之间的局部连接使其能够以更低的计算成本完成复杂的特征学习任务。同一层的权值小于人工神经网络的权值。不同于人工神经网络，卷积神经网络的隐藏层通常由不同的功能层、卷积层、池化层以及全连接层构成。

卷积层的作用是对输入数据进行卷积运算。池化层的作用是对从卷积层提取的信息进行选择和过滤，缩小模型规模，加快计算速度，提高已提取特征的鲁棒性。超参数包括卷积核大小、步长和填充值。一般采用最大池化法和平均池化法进行信息过滤。最大池化法是将池化区域的最大值作为新的特征输出，平均池化法则是输出池化区域的平均值。

对于深度卷积神经网络结构而言，一般池化层设置在多个连续卷积层之后，全连接层设置在整个网络的末端多个。例如，Gopalakrishnan等采用的VGG网络作为迁移学习算例来识别路面裂缝。然而，Zhang 等提出的CrackNet为了实现像素级的裂缝识别，并未采用池化层。

全连接层相当于传统神经网络的隐藏层。特征图传递到全连接层后，三维结构丢失并扩展为一个向量，再通过激活函数传递到下一层。图7是为有裂缝路面和无裂缝路面分类而设计的卷积神经网络结构。

图7 用于路面裂缝图像识别的卷积神经网络结构。64 × 64 × 3代表特征图的高度、宽度和通道；尺寸、步长和填充值均为核心的超参数；conv：卷积；FC：全连接层

（四）机器学习相关理论

1. 数据集

数据集的选择影响机器学习算法的性能。在监督学习中，数据集分为三个部分：训练集、开发集和测试集。首先，将训练算法应用于训练集；然后，根据开发集确定最优模型；最后，在测试集上评估网络模型的性能。一般来说，层次越深、规模越大的神经网络需要用于训练使用的数据集越大。因此，深度学习方法在路面监测中的应用需要在训练过程开始之前收集足够的样本，并准备大量的数据集。

2. 正则化

在L2正则化中，代价函数经定义为：

式中，λ为正则化的超参数，为实现优化，需在验证集上对超参数进行调整以获得最优值；nsample是样本的数量。反向传播过程中，权重w更新规则变为：

在dropout方法中，在(0, 1)的范围内为各隐藏层设置一个阈值p，保留各神经元的概率。这样每一层中有部分神经元被删除，神经网络的节点更少、规模更小。

两种正则化方法均可应用于路面病害检测中。Fei 等使用CrackNetV进行沥青路面裂缝的像素级分类，采用L2正则化来防止过度拟合。Cha等在混凝土路面检测过程中使用dropout函数对模型进行正则化。

3. 归一化

为了避免输入数据的特征出现过大的差异，通常会对这些数据进行归一化处理。批量归一化（BN）是指对深度网络的中间层输出执行归一化，通常选择隐藏层的线性输出结果进行批量归一化，而不采用激活函数的输出值进行归一化：

式中，为防止σ等于0，ε为一无穷小正数。γ决定了 的分布方差，β决定了特征分布的均值。批量归一化不仅适用于输入层，也适用于深度隐藏层。采用批量归一化处理输入层有两个主要原因，一是为了加快网络的训练过程，二是为了在训练过程中加入噪声。目前，多数卷积网络神经模型的路面病害检测方法都会进行批量归一化的过程。

4. 优化器

网络反向传播过程中，选择最合适的优化器十分困难。最常用的方法之一是小批量梯度下降法。在每次迭代中，网络对训练集的随机子集进行学习。小批量规模是网络的一个超参数，这个值越大，网络运行所需的计算量就越大。当小批量规模等于训练集的规模时，称为批量梯度下降（BGD）；当规模等于1时，称为随机梯度下降（SGD）。

此外，还有其他优化器也可以加快网络的训练过程，例如，Zhang等和Fei等采用的动量算法，以及由Kingma等提出、Dorafshan等和 Krizhevsky等采用的自适应矩估计（Adam）算法。

（五）深度学习方法在路面病害检测和状态评估中的应用

本节总结了使用机器学习方法（特别是深度学习方法）进行路面病害检测和状态评估的研究工作。

1. 分类任务

路面病害检测中最重要的分类任务之一是区分有开裂区域的路面图像与没有开裂区域的路面图像，以及同一图像中的裂缝区域与非裂缝区域。传统的二维路面病害图像的识别与检测大多基于图像处理技术，如索贝尔算法以及Canny算法。然而，这些方法大多只能达到半自动检测的水平。卷积神经网络的引入可实现自动检测。

一些研究人员采用卷积神经网络进行目标分类，即在输入图像后，卷积神经网络可以自动判断其是否属于预先设定的类别。例如，卷积神经网络可以判断输入路面图像是否有裂缝。Cha等提出了一种卷积神经网络模型，该模型能够自动识别受曝光和阴影影响的水泥路面受损图像中的裂缝。Hoang等提出了卷积神经网络-裂缝检测模型（CDM），该模型采用分类器和滑动窗口相结合的方法对大尺寸沥青路面裂缝图像进行识别。Wang和Hu结合主成分分析（PCA）训练了一个卷积神经网络模型，可以识别输入的不同尺寸的路面病害图像中的纵向裂缝、横向裂缝和龟裂。Zhang 等提出了一种可实现像素级的裂缝识别的被称为 CracNet的卷积神经网络模型，该模型可以准确检测到路面受损情况。不同于SegNet上采样法和下采样法， CrackNet的特点在于为了保障层间传输过程中图像的尺寸保持不变，它不具备池化层。Zhang等随后将该模型改进为第二代模型CrackNet II，该模型删除了特征生成器，优化了1 × 1卷积层的结构。Fei等提出了全新的CrackNet-V的卷积神经网络模型，该模型继承了 CrackNet没有池化层的特点。Sha等使用卷积神经网络评估了路面病害。此外，卷积神经网络模型还可以应用于路面纹理研究。

反射裂缝是半刚性路面底层的另一种严重的路面损伤形式。如果在反射裂缝最终形成之前对路面进行相应的养护，就可以防止反射裂缝的出现。然而，传统的路面图像很难发现这种内部损伤。为了解决这个问题，路面工程师使用探地雷达（GPR）来检测内部损伤。通过使用卷积神经网络，可以对不同的内部损伤进行分类。

2. 物体检测任务

深度学习方法可以便捷地识别并定位图像上不同目标。对于路面工程师而言，快速定位并识别不同的病害有助于更好地开展养护作业。Cao等利用卷积神经网络检测机场水泥路面上的不同物体。通过卷积神经网络对螺丝和石头进行定位，利用空间转换网络（STN）对图像进行仿射转换，最终通过VGG-13的模型对机场路面图像进行物体检测。Cha等利用Faster R-卷积神经网络自动检测水泥混凝土裂缝、钢筋腐蚀（中高度）、螺栓腐蚀和桥梁设施钢板分层等问题。

3. 性能预测和状态评估

在无法开展实验室测试或现场测试时，可利用机器学习相关方法预测路面材料的力学性能。Majidifard等提出了两种创新性的机器学习算法基因表达式编程（GEP）以及混合人工神经网络/模拟退火法（ANN/ SA）。通过两种算法建立的模型可以确定沥青混合料的断裂能，进而优化材料的混合比。Gong等开发了两种深度神经网络来提高路面车辙预测的准确性。结果表明，这两种神经网络的性能要优于多元线性回归模型。

在分析路面病害的严重程度的基础上可以开展路面状况评估。Majidifard等利用包含7237张谷歌路面图像的路面图像数据集（PID）开展了路面状况评估。通过建立“You Only Look Once” (YOLO)深度学习框架和U-net模型进一步量化了路面病害的严重程度。

（六）小结

利用机器学习方法可以有效地对路面病害和路面结构状况进行识别、分类和分析。早期大部分研究人员采用支持向量机和人工神经网络作为路面缺陷分类的方法，这种分类方法的准确性能满足当时的工程需求。随着计算机技术的发展，凭借局部连接和权重共享的优点，深度学习方法（如卷积神经网络）在路面病害检测和性能评价方面取得了较好的效果。机器学习方法具备的多种功能可以帮助土木工程师解决路面监测面临的各种问题，如路面裂缝类型识别、路面受损位置标记等。未来开展研究时，需要考虑下列问题：

（1）为了获得规模更大的数据集，需要针对路面的性能和状况开展更多的现场或实验室实验。

（2）对于不同设备在不同条件下获取的路面图像，需要提高机器学习方法的适应性。

（3）在此阶段，许多研究都集中于路面裂缝识别上。未来机器学习方法的研究可能会扩展到各种不同的路面病害。

五、结论

路面是最重要的民用基础设施之一。为了保障路面的功能和安全，必须对路面状况进行监测，并及时进行养护。目前，土木工程师通过各种埋入式传感技术采集路面的动态响应数据，并通过图像处理技术和机器学习方法对路面状况进行分析。本文综述了近年来埋入式传感技术、图像处理技术和机器学习方法在路面监测方面的最新进展，并提出了今后路面监测与分析的发展方向。主要结论如下：

（1）路面结构在服役期间受到车辆反复载荷和恶劣环境因素的综合作用。为了实现长期且稳定的监测，需要提高埋入式传感器的性能，优化传感器封装方式，以满足低功耗、低成本、高精度、高集成度、抗压、防水的要求。

（2）由于路面现场图像特征千差万别，许多现有的图像处理算法无法自动适应所有类型的路面图像。因此，需要开展进一步的研究工作，提高算法对于不同条件、不同特征的道路图像的适应性。

（3）为了获得规模更大的数据集，需要针对路面的性能和状况开展更多的现场或实验室试验。此外，还需要利用机器学习方法，检测并识别更多类型的路面病害。

注：本文内容呈现略有调整，若需可查看原文。

改编原文：

Yue Hou, Qiuhan Li, Chen Zhang, Guoyang Lu, Zhoujing Ye, Yihan Chen, Linbing Wang, Dandan Cao.The State-of-the-Art Review on Applications of Intrusive Sensing, Image Processing Techniques, and Machine Learning Methods in Pavement Monitoring and Analysis[J].Engineering,2021,7(6):845-856.

注：论文反映的是研究成果进展，不代表《中国工程科学》杂志社的观点。