龙空技术网

施工过程的数字孪生及实现方法

新缸中之脑 206

前言:

眼前朋友们对“数字图像处理常用算法”大概比较看重,朋友们都需要分析一些“数字图像处理常用算法”的相关知识。那么小编在网络上汇集了一些有关“数字图像处理常用算法””的相关内容,希望各位老铁们能喜欢,看官们快快来了解一下吧!

正在兴起的增强现实等技术使建筑业更加有效。尽管如此,作为地球上最古老的行业之一,其在麦肯锡数字化指数中排名倒数第二。

如果我们可以即时访问有关建筑工地的所有信息,甚至包括每个人、工具和螺栓的最小细节,会怎样?如果我们总能确定梁的最终测量值或切口中的土壤体积接近填充物的体积,那会怎样?如果我们能够始终跟踪材料供应用完的速度并自动重新订购供应品会怎样?

所有这一切都可以通过数字孪生来实现 ——这是一种对物理对象进行实时数字表示的概念。通常,数字数据由不断监测环境变化并报告更新状态的传感器形成。

在本文中,我们将回顾数字孪生技术可以为建筑项目团队带来的用例和好处。然后,我们将描述目前用于从建筑工地收集原始图像数据的技术,以及处理非结构化数据以重建建筑工地的 3D 数字表示的方法。

1、什么是数字孪生?

数字孪生概念自 2002年以来一直存在,并首次用于航天、制造和产品生命周期管理领域。它被美国宇航局用于月球探索任务阿波罗 13 号和好奇号火星探测器。

数字孪生本质上是现实世界对象与其数字表示之间的链接,它不断使用来自传感器的数据。所有数据都来自位于物理对象上的传感器;该数据用于建立虚拟对象的表示。

数字表示随后用于可视化、建模、分析、模拟和进一步规划。这些数据触发决策的反馈循环和影响真实对象系统控制过程的工作流变化。

2、数字孪生在建筑业的应用

对于建筑,使用数字孪生意味着始终可以访问实时同步的竣工模型和设计模型。这使公司能够根据 4D BIM 模型中制定的时间表持续监控进度。

我们甚至可以使用模型预测控制方法并根据前向模拟做出决策,从建筑物的当前状态开始。因此,总是可以分析不同的行动路径并估计它们的概率和相应的成本函数,以便为下一步应该做的事情选择最优化的决策(或调整)。

下面列出可能在建筑工地进行的实时数字孪生应用。

2.1 自动化进度监控

进度监控验证完成的工作是否符合计划和规范。为了验证报告的已完成工作的百分比并确定项目的阶段,需要进行实地现场观察。

通过重建建筑物或结构的竣工状态,我们可以将其与 BIM 中的计划执行进行比较,并采取相应的措施来纠正任何偏差。这通常通过重建建筑物的几何形状并将其注册到模型坐标系来完成,然后将其与形状和对象级别的计划模型进行比较。

用于进度监控的数据通常是通过现场人员收集的,并且可能非常主观。例如,报告的已完成工作百分比在项目开始时可能会更快,而在项目结束时会慢得多。人们最初通常对自己的进步和完成工作所需的时间更加乐观。

因此,拥有数据收集和比较的自动化手段意味着按照设计的 BIM 模型生成的模型不太容易出现人为错误。数字孪生解决了常见的施工过程问题。

2.2 竣工模型与设计模型

使用实时数字孪生,可以每天和每小时跟踪竣工模型的变化。早期发现任何差异都可以导致对历史建模数据的详细分析,这为任何进一步的决策过程增加了一层额外的信息。

然后,项目经理可以重建导致错误的步骤,并在未来的工作计划中进行更改,以防止发生任何类似的错误。他们还可以发现表现不佳的人并尝试在项目早期解决问题的原因,或者计划对整个项目的预算和时间表进行必要的更改。

2.3 资源规划与物流

根据建筑工业研究所的数据,大约 25% 的生产时间浪费在不必要的材料移动和处理上。

数字孪生技术提供自动资源分配监控和废物跟踪,从而实现预测性和精益化的资源管理方法。借助数字孪生技术,公司将避免过度分配并动态预测建筑工地的资源需求,从而避免长距离移动资源的需要并改善时间管理。

2.4 安全监控

建筑业是世界上最危险的行业之一。根据美国劳工统计局的数据, 2008 年至 2012 年间,有四千多名建筑工人在现场死亡。

实时工地重建功能数字孪生允许行业公司跟踪施工现场的人员和危险场所,从而防止不当行为、使用不安全材料以及在危险区域进行活动。公司可以开发一个早期通知系统,让施工经理知道现场工人何时位于工作设备附近的危险区域,并向工人的可穿戴设备发送有关附近危险的通知。

微软最近分享了一个伟大的愿景,即人工智能如何与摄像机和移动设备相结合,为施工现场建立一个广泛的安全网:

2.5质量评估

图像处理算法可以通过视频或照片图像检查混凝土的状况。也可以检查柱子上的裂缝或施工现场的任何材料位移。这将触发额外的检查,从而有助于及早发现可能的问题。

查看使用 3D 场景重建的 2D 图像如何用于混凝土裂缝评估的示例。

基于图像处理和三维重建的混凝土裂缝评估

2.6设备使用优化

设备利用率是建筑公司一直希望最大化的一个重要指标。未使用的机器应提前释放到池中,以便其他人可以在需要它们的其他站点上使用它们。借助先进的成像和自动跟踪功能,可以了解每台机器使用了多少次、在施工现场的哪个部分以及从事什么类型的工作。

2.7 监控和跟踪工人

一些国家对如何监控建筑工地人员的存在施加了严格的规定。这包括对所有人员及其在现场的位置进行数字记录,以便救援队在紧急情况下使用这些信息。这种监控是另一个数字孪生应用程序。不过,最好将基于数字孪生的监控与自动进出登记系统集成,将多模式数据融合到单个分析系统中。

3、为数字孪生获取数据

通过使用基于计算机视觉技术和深度神经网络的多模态传感器数据和算法,可以获得建筑工地等物理模型的虚拟表示。通常使用各种类型的传感器来推断 3D 结构;它们包括激光扫描仪 (LIDAR)、雷达、热成像相机以及标准照片和视频相机。有很多方法可以成功获取数字孪生所需的数据。

由于我们在这里更关注使用来自照片和摄像机的图像的成像方法,因此让我们探索如何获取图像输入,稍后我们将从中重建数字孪生模型。

3.1 智能手机相机

智能手机的价格以及它们所用组件的成本都在持续下降。目前最便宜的智能手机配备的摄像头具有足够的分辨率和图像质量,可以重建建筑工地的墙壁、梁的形状和设备。因此,这种类型的数字孪生数据很容易获得。

例如,只需使用在具有不同相机和照明条件的各种智能手机上拍摄的无序日常施工照片,就可以通过将竣工重建模型与设计BIM模型进行比较来监控进度。此策略还可用于跟踪临时资源,例如基础设施施工现场的人员、设备和材料。

3.2延时摄影机

延时视频是以比播放速度更小的速度拍摄的一系列照片,这意味着时间比标准视频移动得更快。

这种类型的视频至少从 1989 年开始就被用于建筑工地记录和进度监控,当时标准 8 毫米和超级 8 毫米等老式胶片相机很受欢迎。目前,相机更便宜、更小,并且可以在延时模式下使用电池工作数小时和数周。

3.3自主无人机和机器人

数字孪生的数据还来自无人机等无人驾驶飞行器 (UAV),或配备高分辨率摄像头和传感器的固定翼飞机;它们可以在完全自主的模式下运行。

随着施工中劳动力成本的不断增加,人们更倾向于采用全自动数据捕获和处理方法。移动行业已经生产出基于 MEMS(微机电系统)的廉价传感器,这些传感器正在进入无人机和配备高分辨率摄像头的移动机器人中。无人机制造商正在制造与数据管理平台相结合的专业版无人机,可以自动执行测量、测绘、3D 重建以及进行体积测量。

但是对于全自动数据采集机器人,对自动化分析和数据处理的需求甚至更高,因为该行业没有足够的时间来手动处理额外的 TB 视频数据。我们将在本文后面探讨一些数据处理技术。

3.4视频监控摄像机

视频监控数据捕获和处理技术类似于延时视频,但具有更高的帧速率,即播放时的正常速度。使用 30fps 的传统视频捕获率,我们可以从施工场景中提​取更精细的细节,并更好地跟踪时间对象的结构变化和运动。

3.5头戴式摄像头和机身摄像头

尽管头戴式摄像头和随身摄像头等图像捕捉技术在今天的建筑中并未广泛使用,但我们可以预期,技术和 AR 耳机(固有地包含摄像头)的不断小型化和进步将导致它们在建筑工地上得到更广泛的使用。

最近的例子表明,微软 HoloLens 正以安全帽的形式慢慢走向建筑工地。它主要用于查看真实空间中的 3D 模型,这有助于将设计的结构转换为空间表示。

谷歌最近发布了 Google Clip,这是一款小型化、电池供电、支持人工智能的相机,主要针对家庭消费市场。这只是专用硬件与板载 AI 软件(或 ASICS 中的硬件实现)相结合的开始,它将针对不同市场进行特定领域的实时图像数据处理和分析。

4、用于数字孪生创建的图像处理算法

在这个阶段,我们有来自各种相机的原始图像数据输入,现在是时候看看我们可以用来构建站点的数字孪生表示的技术了。

高速率的数据生成需要更高的数据处理速率和全自动管道,从数据捕获和分析到知识和决策。最近在计算能力、GPU 处理、广泛的数据集和深度学习算法方面的进步为自动数据处理打开了大门。

自动驾驶汽车的兴起(产生 1-2 GB/秒的数据)正在推动公司寻找快速、实时地提取知识和做出决策的解决方案,而无需将所有数据发送到云端。建筑工地是一个封闭且受控的环境,它以与自动驾驶汽车相同的速度生成数据,我们可以在其中使用这些汽车的技术更好地按计划导航项目,使用更少的资源和更高的安全标准。行业内的数字孪生公司处于技术创新的前沿。

不,我们将选择有助于构建建筑工地的数字孪生表示并从原始图像数据中自动提取知识的图像和视频处理方法。

4.13D 重建:传统摄影测量

摄影测量学是从照片中进行测量并恢复表面点的确切位置的科学。它目前用于许多领域——建筑、工程、制造、质量控制等。在大多数情况下,摄影测量的目标是通过将真实世界坐标与图像坐标对齐并最终生成点云,从给定照片重建 3D 场景。

摄影测量有两种类型:

航空摄影是从起重机、飞机、山脉等高处拍摄的。

近距离摄影测量是指相机距离物体较近,通常是手持式或安装在三脚架上。

后一种方法提供了高精度的场地模型,但空间分辨率低,包含大约几百个散点。

4.23D 重建:来自运动的结构

运动结构 (SfM) 最初是摄影测量学的一个子领域。它对管道的各个部分使用相同的算法:特征/目标跟踪、三角测量、相机姿态估计和捆绑调整。

目前,SfM 和摄影测量法一起用于创建更密集的 3D 表示,其测量结果比单独使用任何其他方法更准确。

以下是使用 SfM 方法重建罗马斗兽场的方法:

4.3物体检测与识别

物体检测和识别通常是机器人在建筑工地上应用的基石,因为机器人需要知道障碍物的位置以进行导航和路径规划。对于机器人的机械手来说,这也是一件重要的事情:它们需要准确定位要拾取或移动的物体。

在数字孪生建模中,建筑公司可以使用对象检测和识别来创建更好的危险空间模型并在现场监控复杂的机械。

4.4 本地化

同时定位和映射(SLAM)是机器人领域的一个领域。它构成了构建或更新未知环境地图的计算问题,同时跟踪代理在其中的位置。

粒子滤波是用于解决定位问题的算法之一(图片来源链接)

如果代理正在移动,它通常涉及传感器的组合,例如摄像头、雷达、激光雷达和惯性测量单元 (IMU)。代理可以是机器人、起重机或工人在建筑工地佩戴的头戴式显示器。

通过一组不同的图像,我们可以在世界坐标空间中定位对象。

4.5对象跟踪

对象跟踪是在每个时间步长识别对象的位置、速度和动态。它通常在机器人技术中用于实时预测控制任务,但也可用于预测建筑工人和设备在建筑工地上的位置。

跟踪也用作基于视频的路径规划的一部分,并且可以提供避开障碍物的能力。

这是从街道监控摄像头拍摄的视频中拍摄的对象识别和跟踪的一个很好的例子。

对象跟踪的另一个用途是识别人机交互中的手势,可用于自动识别建筑工地工人的手势。

5、结束语

我们已经研究了数字孪生的概念,以及如何使用先进的数据捕获技术构建建筑工地的虚拟表示,只需使用相机和智能后处理以及密集的 3D 模型和结构重建。

数字孪生概念与建筑工地的可穿戴设备和移动设备相结合,可以帮助在任何时间点更好地展示竣工项目。它允许将最新信息反馈到现场,从而减少错误和返工的数量。

通过对人员和设备的持续定位和跟踪,可以完全监控时间利用率的使用情况并动态分配资源,以减少等待免费机器的时间或昂贵设备的低效使用。

此外,实时监控可以将有关危险情况的安全警报推送到工人的手机或耳机上,从而提高施工现场的安全性。在紧急情况下,访问有关施工现场的人员及其所在位置的数据也很重要。

在本文中,我们回顾了技术和方法,但并未涉及特定的软件实现。目前,没有一种这样的系统可以在所有情况下开箱即用。

尽管如此,该领域仍有许多与人工智能和深度学习的出现有关的持续发展,以及更强大的 GPU。从硬件扩展到软件的完全集成和创新的解决方案,为建筑工地带来更高水平的效率和安全性,应该紧随其后。

原文链接:

标签: #数字图像处理常用算法