心血管类疾病是目前导致国内人群死亡的首位原因,随着我国人口老龄化问题日益严重,心血管类疾病的患病率也在逐年上升,早期诊断对降低疾病对患者生命健康的威胁至关重要｡

医学临床实验研究证实,精确的左心室血流流场以及血流动力学信息对于众多的心血管类疾病的早期诊断具有重要的意义｡

彩色超声多普勒是目前常用的左心室功能临床检查手段,但是由于帧率较低,左心室彩超帧与帧之间的流场以及心肌组织的运动信息会出现部分缺失的情况,会对医生的诊断会造成干扰｡

针对左心室彩色超声多普勒视频由于帧率较低导致帧与帧之间流场信息存在缺失所带来的挑战,从合成中间帧以及预测流场两个方面进行对填补缺失流场信息的研究:提出了基于深度学习的左心室彩超视频插帧方法｡

主观评价通过VFM计算流场的方法进行验证,结果表明方法对预测左心室彩超视频缺失的中间流场信息具有较好的效果｡

一、彩超自我国的使用率

根据《中国心血管健康与疾病报告2019》的数据显示,目前因心血管疾病导致的死亡占城乡居民所有死亡原因的首位,心血管疾病具有高患病率,高致残率和高死亡率的特点,严重威胁人类健康,而中老年人群体是心血管疾病的高发人群｡

随着经济社会的发展,国民生活方式的转变,尤其是国内城镇化进程的加速发展和人口老龄化的日益严重,居民普遍存在不健康的生活方式问题日益突出,心血管疾病危险因素对居民健康的影响愈加显著,心血管疾病的患病率仍持续增高｡

心血管疾病给居民和社会带来的经济负担日益加重,已经成为国内重大的公共卫生问题,是当今威胁人们健康和生命的主要疾病,加强心血管疾病的防治工作刻不容缓｡

1.为何心血管疾病日益增加

心血管疾病会有如此高的死亡率,主要是心血管疾病的早期通常不会出现明显的临床表现的原因导致,所以心血管疾病防治工作的关键是通过医疗手段提早发现,提早治疗｡

心血管疾病患病早期的心脏形态结构和血流流动模式通常会与正常人的不同,可以通过观察分析心脏流体动力学状态的变化反映出心脏功能的异常｡所以心脏流体动力学的运动状态的可视化和量化分析能早期筛查出功能异常的心脏｡

为心血管疾病的防治提供一种诊断手段,超声具有对人体无伤害,无辐射,价格低,操作简单的优点,因此应用彩色多普勒超声进行血流可视化的观察和分析是目前心血管疾病临床中较为常用的一种诊断措施,其在各种心脏疾病诊断方面均有重要的应用价值｡

2.超声视频彩超价值

超声视频和普通视频都由多张图像组成,每一张静态图像称为一帧,帧的总数称为帧数,每秒钟显示的帧的数量称为帧率,视频的一个重要属性就是帧率,不同的视频可以具有高低不同帧率｡

低帧率视频和高帧率视频相比每秒显示的图像数目更少,因此存储空间和传输带宽的要求通常更小,但是由于相邻帧之间的运动变化更加大,在视觉上会出现割裂感,卡顿感和模糊感｡

目前左心室彩色超声多普勒视频存在帧率较低导致的帧与帧之间的流场运动信息缺失问题彩超视频的帧率是扫描扇区大小,分辨率和帧率之间的折衷,而最基本的限制因素是声速的固定大小｡

帧与帧之间是平滑的,但是彩超视频和电影正好相反,每一帧的画面都是静态帧,静态帧只包含物体在那一瞬间的位置信息,彩超视频中心肌壁从A点运动到B点,只有A点的图和B点的图,却没有从A点到B点的过程图。

导致一个最大的问题是缺失了帧与帧之间的过渡运动信息,彩超视频的帧率在理论上要比电影的帧率高很多才能保证人眼的观感是流畅的｡

二､彩超对心脏形成测评的影响

通过血流向量成像技术,处理彩超视频获得左心室的流场视频是医生评价心腔功能的一种重要方法,提高原始彩超视频帧率可以获得帧率更高和视觉效果更流畅的流场视频,并且填补帧与帧之间缺失的流场运动信息,从而给医生提供更加精确的心腔血流流动情况｡

1.视频插帧方法相关研究

视频插帧是计算机视觉领域的一个重要研究方向,已经得到长时间的研究发展,视频插帧最开始通过插黑帧,帧重复和帧平均三种方法实现｡

插黑帧通常应用于电视和电影上,部分厂家为了消除视频里高速运动物体出现的抖动感和运动拖尾,在相邻两帧间插入纯黑色的帧来改善视频的流畅效果,但是会带来视频色调整体变暗的影响帧重复技术是直接复制相邻两帧的任意一帧作为中间帧来提高视频帧率｡

最后一种帧平均技术是通过计算相邻两帧之间像素点的加权平均值合成中间帧,加权系数为硸上面三种插帧方法的优点是运算非常简单,对场景单一以及运动位移较小的视频有较好的插帧效果｡

一旦对有较大运动位移物体或者场景复杂的视频进行插帧时,这些方法都没有考虑前后两帧图像的运动相关性,因此会导致运动边缘模糊,出现较大的运动伪影等后果,直接降低视频原本的视觉效果｡

因此研究者们开始考虑将相邻帧之间的运动信息作为参考,提出了插帧效果更好的基于运动补偿插值的视频插帧方法基于运动补偿插值的算法包括三个主要部分:运动估计,运动矢量后处理和运动补偿插值基于运动补偿插值的视频插帧方法｡

基于运动补偿插值的视频插帧方法根据估计运动矢量的方式分为两类:基于块匹配的方法以及基于光流估计的方法基于块匹配的方法是以块为基本单位来计算运动矢量,因此容易出现部分块与块重叠,甚至部分块无法匹配到对应块的问题｡

最终导致合成帧出现严重的重叠现象和空洞效应为了避免块匹配方法存在的上述缺点,研究者们提出了基于光流的方法,其思想来源于光流法的基本假设,即物体的亮度基本不变且具有空间连续性｡

根据不同的应用场景,光流法可以分为稀疏光流以及稠密光流两大类,其中稀疏光流法只计算关键像素点的光流,稠密光流法计算所有像素点的光流｡

在视频插帧任务上应用的是稠密光流法,因此可以计算出每一个像素点的光流,然后利用光流场通过运动补偿插值合成中间帧,避免了以块为基本单位估计运动矢量带来的缺陷｡

该方法需要大规模数量的光流数据集用作训练,在处理大位移运动的真实场景时表现不佳,通常会出现运动模糊甚至变形等严重导致插帧效果下降的问题｡

而端到端的视频插帧方法通过卷积神经网络结合空间插值算法直接输出中间帧,运动信息仅仅作为网络的中间输出结果,因此该方法是无监督的训练,同时解决了几乎无法获取大规模的真实光流数据集和对真实场景视频插帧效果不佳的问题｡

由于考虑了相邻帧的运动信息,基于深度学习的视频插帧方法充分发挥出深度学习的优势,同时又考虑了相邻帧之间的运动信息,明显提高了视频插帧方法的处理速度和插帧效果｡

2.光流估计相关研究

光流估计是计算机视觉领域的一项重要的研究方向,目的是提取视频或连续图像的光流场光流估计最初的研究目的是目标检测和刚性物体运动估计,近年来因其具有的独特优点而被应用到视频插帧｡

光流的概念最在二十世纪五十年代提出,它来源于物体与观察者之间的相对运动,是空间运动物体在观察平面上的像素运动的瞬时速度光流的本质是把三维场景中的运动物体投影到二维平面上后表现出的各个像素点的亮度变化｡

在理想条件下光流场与二维运动场应该是相同的光流估计是通过分析连续相邻帧之间每个像素点的强度在时间域上的变化和相邻帧图像之间的相关性,从而计算出相邻帧运动物体的速度矢量｡

提出使用梯度常量作为数据项,进一步组合亮度恒定和梯度常量构建一个更加具有鲁棒性的数据项,同时提出一个从粗略到精细的扭曲策略解决大位移问题｡

首先使用图像驱动的各向异性平滑约束来提高光流估计在运动边缘附近的准确性,通过分析经典能量方程的特征,提出了一种防止局部边缘光流场过度平滑的方法,研究了一个边缘感知约束项,其被添加到变分模型中以提高边缘处光流预测的准确性｡

总结

随着现代社会的快速发展和生活方式的变化,人口老龄化以及不良的生活习惯等问题日益突出,心血管疾病危险因素越加严重威胁到人们的健康,目前在国内心血管类疾病仍然是导致城乡居民死亡的首位原因｡

尽管医疗水平也在不断进步,但是近年来心血管类疾病的患病率并没有有效降低,反而呈现出逐年增高的趋势,心血管类疾病具有高死亡率的重要原因是没有做到早期发现和早期治疗,尽管早期患者不会表现出明显的临床症状｡

但是心脏结构和心腔内血液流动模式通常已经发生了异常,因此可以通过医学手段评估心脏的功能以防治心血管类疾病的发生左心室作为人体血液循环系统中血液供给的关键一环,研究左心室的血流动力学是诊断心脏功能的重要手段｡

彩色多普勒超声具有安全､无痛､快捷､常规的优点,是目前分析左心室血流动力学最为常用的临床检查方法但是由于左心室彩色多普勒超声存在帧率较低的情况,导致帧与帧之间的血流､心肌壁以及二尖瓣的运动信息出现缺失｡

因此通过填补缺失的中间信息,可以提供更加详细的左心室运动情况和血流动力学信息,帮助医生更加准确地诊断患者的心脏结构及功能

为此,提出了两种解决方法,分别为基于深度学习的左心室彩超视频插帧方法以及基于格子玻尔兹曼方法的左心室流场预测方法｡