各位看官阅读之前，请您点击一下“关注”，既方便您讨论与分享，又能给您带来不一样的参与感，感谢您的支持。

文丨行走的2B铅笔

编辑丨行走的2B铅笔

前言

实时比赛识别和分类算法对于自动化视频制作和体育赛事直播至关重要，目前依赖于人体姿势估计和深度神经网络的方法在商品硬件上引入了高延迟，限制了它们在低成本实时应用程序中的可用性。

游戏网是基于卡尔曼嵌入的一种实时手球分类的新方法，这是一种新的游戏状态低维表示，可以在商品硬件和自定义摄像机布局上实现高效操作，利用卡尔曼滤波来检测和跟踪运动场中的主要代理，能够在单个归一化坐标空间中表示它们。

手球游戏自动直播的平台构建

利用通过模糊拓扑数据结构分析进行非线性降维训练的神经网络，游戏网在商用硬件上实现了延迟低于55毫秒的实时游戏分类，使其成为自动直播和游戏分析管道的有希望的补充，小型运动队和组织经常难以广播他们的比赛和分析比赛数据，因为与必要的人力、物流和硬件相关的高成本。

使用商用硬件且无需人工干预的自动实时视频制作为此问题提供了低成本的解决方案，要实现这一目标实时播放识别是一项关键任务，在自动广播系统能够可靠运行之前需要解决，应用经典的计算机视觉算法时，手球等侵入性运动中球员动作的高度不可预测性以及背景场景的可变性带来了许多不同的问题。

在这种情况下基于学习的方法已成为增强自动视频制作和游戏数据分析稳健性的有前途的替代方案，最先进的方法通常处理生成的视频内容而不是原始视频片段，假设广播信号延迟，使用专门的跟踪硬件或在完全离线状态下运行。

游戏网是一种新颖的手球分类方法，可以仅处理原始视频片段并使用GPU商用硬件实时操作，游戏网可以实时引导物理摄像机，例如电动安防监控或者根据体育赛事自动直播的需要从多个固定摄像机切换视图。

这项工作的主要贡献是：这是一种卡尔曼嵌入的游戏帧的低维表示，它利用卡尔曼滤波和训练来执行非线性降维的神经网络，已经证明了它在实时游戏分类中的有效性，正交归一化顶视图空间，这是游戏区域的归一化表示。

此空间有效地将游戏状态与摄像机配置分离，使游戏网能够适应各种摄像机设置和球场，开发游戏网一个使用抽象实现的实用手球游戏分类器，游戏网已成功部署在生产环境中，可实现自动直播。

回顾游戏状态自动分类的最新技术

内容感知体育视频分析获得的潜在见解进行了全面而深入的解释，讨论分析体育视频序列的技术和应用，它们包括有关事件检测和游戏分析的深入讨论，尽管专注于手球但它仍然是相关的有趣读物。

体育中的语义事件检测，语义事件检测研究侧重于识别和分类体育赛事期间可能发生的相关事件的自动化过程，此信息有助于更好地了解游戏，并可用于各种目的例如游戏分析、玩家评估以及生成游戏的亮点和摘要以进行广播或重播。

大多数用于检测体育语义事件的自动化技术都依赖于视频片段中的特定线索，这些提示可以包括字幕、横幅、场景剪辑以及在直播或后期制作中添加的各种视觉元素，重要的是要注意原始视频片段中通常没有这种上下文信息。

像这样的自动化体育广播系统不能依靠这些线索来检测和分类事件，其他作品通过在游戏结束后进行离线分析或要生成的片段来解决原始视频片段，但没有一个完成实时游戏状态分类，相比之下实时分析手球比赛的原始视频片段，重点是球员分类而不是语义事件检测。

引入了一个手球比赛分类器，该分类器实时处理原始视频片段，可以检测有意义的语义事件以进行自动广播，播放状态识别与实现自动视频制作，播放状态识别是自动广播系统和视频制作的先决条件。

语义事件检测与游戏状态识别

语义事件检测与游戏状态识别之间的联系在于：特定事件的检测可以提供有价值的信息，可用于确定游戏的当前游戏状态，使用神经网络实现篮球比赛的自动视频制作，由于他们的系统在云中运行延迟长达10秒，这对于延迟直播可能是可以接受的，但对于使用安防监控摄像机的现场制作则不然。

监督降维的方法检测并跟踪球场中的游戏代理，在规范化的坐标空间中表示他们的运动模式，这种表示的高维性带来了计算挑战，采用降维技术来获得更快、更准确的结果，这个问题是使用随机投影的二维扩展进行特征提取，并使用二维离散余弦变换进行特征融合来解决的。

需要处理所有数据点以嵌入新数据点，使其不适合实时应用，另一个值得注意的方法是它展示了一个交互式可视化分析系统，该系统能够利用多种降维技术可视化时间序列数据，这种方法不适合这些问题，因为它主要是为可视化而不是分类而开发的。

手球数据集是大多数现有的体育赛事检测数据集主要使用视频数据并迎合特定的运动，手球缺乏公开可用的数据集，尽管一些数据集注释了玩家行为，但通常没有游戏状态注释，一个值得注意的例外是一个多模态基准数据集，包含手球比赛的同步视频，音频和位置数据。

手球比赛中有意义状态的实时分类，仅使用原始视频片段和商品硬件，这项任务对于生产摄像机的低成本、无人无缝操作至关重要，同时确保实时广播中的最小延迟，从直播制作的角度来看，手球比赛中的问题可以概括为将游戏的当前状态分类为上述七个类之一。

该算法将全场视频流作为输入，该视频流可以由单个摄像机或以完全覆盖球场的任何布局排列的摄像机阵列获得，体育广播的制作摄像机设置可能会因多种因素而发生变化，例如摄像机数量、预算限制以及每个室内竞技场的独特特征。

即使代理人在法庭上占据相同的位置，获得的代理人职位也可能不同，相机位置、视角、镜头配置、传感器分辨率和其他因素的变化会导致这些差异，当使用具有自定义布局的多个摄像机来覆盖整个游戏场地时，问题变得更加具有挑战性。

由于对象检测和跟踪等任务导致的数据可变性，为游戏状态分类创建鲁棒算法还面临着泛化问题，这些属性在照相机源、镶嵌布局设置或照相机参数配置之间可能有很大差异。

实时手球游戏状态分类的方案

系统需要对马赛克布局中的所有摄像机进行初始校准步骤，以确保游戏网的正常运行，使用内部软件、摄像机操作员手动识别每个摄像机图像中的区域边界和感兴趣区域，此步骤可显著增强代理跟踪，并有效缓解大多数检测问题。

输入预处理中系统解码并优化来自每个输入视频流的数据，以便在后续阶段进行高效处理，标准图像处理操作应用于每一帧，包括像素格式转换、调整大小、裁剪和颜色归一化，这些操作会生成批量的缩减采样图像，从而最大限度地提高对象检测和跟踪吞吐量。

规范化游戏状态表示形式，系统识别帧中的相关手球游戏代理，并利用其时空信息在公共坐标空间内创建统一的游戏状态表示，采用正交标准化顶视图空间，为了管理正交归一化顶视图空间中游戏代理的位置和速度，实现自定义卡尔曼滤波器。

预测引擎是最后阶段，基于流形学习技术和模糊拓扑数据分析进行非线性降维，此步骤会产生游戏状态表示的压缩版本称为卡尔曼嵌入，最终作为负责游戏分类最终决策的分类器的输入。

在获得游戏状态的规范化和统一表示，从手球游戏分类器的角度总结其动态，该模块从以马赛克布局排列的摄像机接收一个或多个图像流，确保全面覆盖游玩区，这项工作主要集中在两个广角摄像机水平移动以覆盖整个运动场的设置上。

利用对象检测器然后使用对象跟踪器来跨帧识别和跟踪每个游戏代理，游戏代理的位置坐标在与马赛克布局中的每个摄像机对应的单独坐标空间中获取，为了创建游戏状态的统一和规范化表示形式，游戏网将所有位置信息投影到一致的坐标空间中。

为了进一步增强博弈状态表示，采用了卡尔曼滤波，此过滤器可校正系统检测到的代理位置中的精度误差，并结合速度矢量，捕获移动速度和方向，对象检测和跟踪方法、游戏网中使用的坐标空间以及卡尔曼滤波器实现。

系统限制的问题

处罚的分类提出了一个显着的挑战，此问题仍然存在因为它们始终将惩罚与转换和攻击混淆，虽然点球分类的结果并不理想，但展示了更好的正确识别点球的能力，当它不理想时，正确的攻击方，从而减少了球场双方之间的混淆。

这减轻了与惩罚分类相关的错误的影响，关于手球比赛的制作这些错误意味着当点球发生时，偶尔会选择更一般的视图而不是变焦镜头，虽然这并不理想但它仍然可以被认为是可接受的最坏情况。

游戏网需要手动校准过程以确保正常运行，在此校准过程中操作员手动选择每个摄像机中的感兴趣区域，将其与球场边界对齐，合并此步骤对于代理跟踪非常简单且非常有益，因为它有效地缓解了诸如错误地将外部个人检测为游戏中的玩家等问题。

虽然它可能无法消除对现场的零星入侵，但此校准步骤可最大程度地减少其影响，游戏网利用这些定义的感兴趣区域来关注正确的代理，以跟踪和避免重复检测，确定跟踪参数和更具挑战性，通常需要试错法。

它们必须尽可能严格，但允许代理匹配持续足够的帧来处理检测器中的遮挡和闪烁，根据广泛的测试使用的值已在各个领域证明有效，卡尔曼滤波器分量参数，也在校准过程中通过反复试验来确定。

虽然它们似乎在不同的领域运作良好，但找到它们的最佳值可能会带来挑战，它们还需要足够保守，以允许卡尔曼滤波器使用所选的动力学模型估计更稳健的位置和速度，但同时充分依赖测量数据。

结语

游戏网是一种新颖的实时手球分类方法，能够检测商品硬件上的游戏状态和自定义的相机布局，所提出的系统在原始视频片段上运行，填补了体育中自动低成本直播系统的实时游戏状态分类空白。

以实现实时游戏分类目的，提出了卡尔曼嵌入，这是一种游戏状态的低维表示，通过训练降维的神经网络获得，使用卡尔曼嵌入具有双重优势，首先有助于减少推理时间，其次减少了不同分类器的训练时间和训练数据大小要求。

文章描述过程、图片都来源于网络，此文章旨在倡导社会正能量，无低俗等不良引导。如涉及版权或者人物侵权问题，请及时联系我们，我们将第一时间删除内容！如有事件存疑部分，联系后即刻删除或作出更改。