在阅读文章之前，请您点击一下“关注”，既方便您讨论与分享，又能给您带来不一样的参与感，感谢您的支持。

文丨见过世面的big龙

编辑丨见过世面的big龙

前言

互联网技术的发展推动了网络流量需求的急剧增长。多云场景下的缓存和组播是减轻网络回程负担、减少服务延迟的有效方法。现有的工作并没有共同利用这两种方法的优点。我们提出了一种基于多智能体深度强化学习的协作视频边缘缓存和组播方法。

以最小化每个边缘云存储容量有限的多云场景中的传输数量。具体来说是通过将协作传输模型与缓存模型集成，我们提供了联合问题的具体表述。我们将此决策问题视为马尔可夫决策过程的多智能体扩展，并提出了一种多智能体演员批评算法。

随着互联网技术的发展

每个智能体学习本地缓存策略，并进一步将相邻智能体的观察作为整体的组成部分状态。最后，为了验证算法，我们在真实数据集上进行了广泛的实验。结果表明我们提出的算法在视频传输数量方面优于其他基线算法。

随着互联网技术的发展，用户与其电子设备的互联程度越来越高。第五代网络等新型无线网络的出现，智能设备的普及以及用户对视频流和在线游戏和虚拟现实等多样化应用的高使用率导致视频需求大幅增长交通。

根据思科报告的研究预测，到2022年，视频类型的流量将占全球所有互联网流量的视频流量的广泛普及和严格的体验质量要求，给回传带来了巨大的压力。网络压力在满足用户需求的同时最大限度地减少传输过程中的网络资源消耗已成为网络运营商最关心的问题之一。

在传统的云环境中，服务过程需要将数据迁移到远程数据中心进行集中计算和存储。这会导致较高的网络传输延迟，从而对移动应用程序的性能产生负面影响。为了解决这个问题并为延迟敏感的应用程序提供可靠的服务，研究人员探索在边缘部署小型云服务器。

这些边缘云服务器可以提供更接近边缘物联网设备。边缘云服务器配备有限的资源，可用于在边缘提供带宽优化的服务，从而能够提供快速和即时的服务。包括远程云和边缘云在内的多云架构是提高用户体验质量和降低能耗的有前景的范例。

正如多项研究所强调的那样，这种潜力源于其为最终用户提供无处不在的缓存和高效内容交付的能力。在内容请求阶段网络在收到用户请求后进行内容搜索，为了缓解流量拥塞，边缘缓存是一种在靠近请求者的边缘云服务器上缓存流行文件的有效方式。

边缘云中缓存的有效性

它解决了在边缘云中缓存哪些内容的问题，学术研究证实了协作缓存的有效性，引起了学术界的广泛关注。协作缓存的工作原理是允许边缘云通过内部连接集体分发内容，自适应协作缓存方案，该方案结合了增强的量子遗传算法来解决能量延迟权衡问题。

两层异构网络的空间协作缓存策略，该策略的目标是通过缓存最大限度地减少重复内容的存储使用量，同时最大限度地提高成功内容检索的可能性在内容交付阶段，将内容从远程云分发到边缘云和用户端的传统单播机制导致交付效率低下。

另一方面多播可以利用可用的网络带宽将相同的内容传送给多个接收者，这得益于地理位置相近的用户对内容的偏好的相似性。该机制通过单个多播而不是多个单播传送所请求的文件，从而减少了传送期间生成的流量。

人们在视频编码和组播传输方面做出了巨大的努力。基于可扩展视频编码的分层多质量多播波束成形方案。设计了一种使用命名数据网络多播的自适应视频流方案。这些算法在解决视频编码和组播传输的同时，没有考虑协作环境中编码组播与缓存的集成。

缓存通过在边缘云本地提供频繁请求的内容来减少延迟和网络带宽消耗，多播通过有效地同时向多个用户传送流行内容，进一步减少了带宽使用，特别是在并发请求相同内容的情况下。缓存和组播的联合考虑可以根据实时用户需求和网络状况动态分配缓存和组播资源。

从而提高整体网络性能和资源利用率，这种自适应策略优化了内容可用性和交付效率，从而改善了用户体验。值得注意的是它有助于部署各种延迟敏感的应用程序和服务。在大规模支持缓存的无线网络的背景下，应用迭代数值算法来分析和优化缓存和多播。

研究不同的边缘云

在不同的场景中已经提出了各种编码多播机制，在大规模协作缓存场景中，找到边缘缓存和组播之间的平衡以提高资源效率仍然是一项具有挑战性的任务。我们利用多云环境中的多播移动边缘缓存的优势来减少网络传输消耗。

研究不同边缘云之间的协作缓存，以有效适应动态边缘环境。我们提出了一种基于多代理的协作视频缓存和组播方法，以最小化平均传输数量，从而提高视频传输效率。我们研究了协作视频边缘缓存和组播问题以减少多云场景中的传输数量。

问题表述为多智能体马尔可夫决策过程，设计了一种新颖的多智能体算法来解决所制定的。具体来说每个智能体学习本地缓存策略，并进一步将相邻智能体的观察结果作为整体状态的组成部分，多个协同工作有效适应动态的网络环境。

广泛的跟踪驱动模拟表明，我们提出的算法在视频传输数量方面优于其他基线。边缘缓存将流行内容本地存储在边缘云上，使它们能够将请求的内容直接传递给用户。它显着减少了网络延迟和网络消耗。

一种考虑不同视频特征的经济高效的贪婪算法，它优化了驱动的动态自适应视频流的移动边缘缓存放置问题。提出了一种基于整数线性规划的联合协作缓存和处理框架，以适应移动边缘计算网络中的自适应比特率视频流。

无线通信网络中的缓存决策过程可以表示为强化学习已广泛应用于该领域基于多代理框架。提出了一种深度演员批评家强化学习算法，通过使每个边缘能够通过自适应学习最优策略来解决缓存决策的动态控制。

组播传输的广泛应用

主要集中在内容缓存策略上，并没有考虑内容交付过程。组播传输广泛应用于边缘网络，证明了其通过减少带宽和路由和成本来增强网络性能的功效。达梅拉构建了一种新的可行的架构模型，使用多小区传输将所需的内容传输给用户。

使用多小区传输提高了信噪音与现有模型相比，优化后的调度算法表现出更好的性能。扎胡尔等人提出了一种建议的增强型网络架构，以解决标准架构的显着局限性，即使用网络功能虚拟化和网络架构。

提出的架构允许众包直播流的多播考虑了移动边缘云中支持的组播的基本问题，并设计了一种启发式算法。研究了面向延迟的网络切片问题下边缘网络中互联网应用的多播流量。这些工作主要集中在网络架构和组播协议上，而没有与边缘云服务器的实际应用相结合。

在基站处利用多播传输，能够同时为同一文件的不同用户请求提供服务，被认为是支持通过无线网络传送大量内容的高效方法。这种方法被认为是无线通信中满足不断增长的内容传输需求的有效策略。

使用多个文件的联合编码和下行链路信道的多播特征来优化编码多播下的内容放置和传送。他们还评估了缓存增益，并证明联合优化问题可以提高缓存增益。联合利用多播内容交付和协作内容共享的优势，开发了复合缓存技术。

设计了部分缓存批量传输和部分缓存流水线传输，以减少启用缓存的多组组播网络的传输延迟。结合主动缓存和组播传输将单用户多请求问题建模，由于传统方法难以适应多云协作缓存下这种高度多样化和动态的环境。

网络编码技术

为了在传递过程中使用更少的传输来传递所有数据，我们使用了网络编码技术。传输的内容在网络节点进行编码最后进行解码。我们使用异或编码技术，这些边缘云没有缓存所请求的视频，但缓存了其他边缘云所请求的视频。

缓存策略决定边缘云中缓存的内容，然后远程云根据边缘云中的缓存状态对传输进行分类。在最小化从远程云到边缘云的传输总数的联合组播传输和缓存替换问题，我们的建模问题是一个混合整数规划问题，它是严格的问题。

在计算效率低的自然缓存系统中，使用传统计算方法解决问题已被证明具有挑战性。我们考虑了一种学习方法。我们通过基于多智能体强化学习的算法探索不同边缘云服务器之间的协作，以更好地适应动态边缘环境。

每个边缘云作为独立代理运行，同时与其他边缘云保持合作关系。我们将缓存决策问题建模为马尔可夫决策过程的多代理扩展，并引入一种新颖的基于多代理的缓存方法。我们提出的方法旨在最大限度地减少请求传输过程中的平均传输次数。

多智能体强化学习由智能体和环境组成。基于状态和环境的奖励，每个代理根据其特定策略执行操作。然后环境改变到一个新的状态，是一个数学框架用于对由状态，动作转移概率和奖励组成的顺序决策进行建模。

这意味着一小部分高度流行的视频对大部分访问量做出了显着贡献，而大量其他视频受到的关注却很少。热门视频会被频繁访问是需要定期更新其缓存内容。相当于一部分不太受欢迎的视频很少被访问，这使得它们对于缓存目的无效。

结语

多云场景下的联合缓存替换和组播传输策略，可以有效地减少视频传输的传输次数。我们设计了一种多智能体算法，使多个边缘云能够协作以实现智能缓存决策。我们还在真实世界的数据集上进行了实验。

文章描述过程、图片都来源于网络，此文章旨在倡导社会正能量，无低俗等不良引导。如涉及版权或者人物侵权问题，请及时联系我们，我们将第一时间删除内容！如有事件存疑部分，联系后即刻删除或作出更改。