个性化联邦学习（Personalized Federated Learning）是一种基于联邦学习的算法，旨在提高系统的学习效率和准确性，同时保护用户个人隐私。它通过对每个用户进行个性化的模型训练和更新，从而实现不同个体之间的差异化处理和数据隐私保护。

张量分解：

在数学上，张量是一个多维数组，可以看作是向量和矩阵的自然推广。

张量分解的目标是将一个高维张量分解成若干个低维子张量的和，使得分解后的张量能够尽量准确地表示原始数据。常用的张量分解方法包括主成分分析（PCA）、独立成分分析（ICA）、非负矩阵分解（NMF）和分解树等。

图一 张量分解

在实际应用中，张量分解可以用于语音识别、图像处理、药物设计、社交网络分析等领域。

例如，在社交网络分析中，张量分解可以将用户间的复杂关系表示为低维度特征向量，从而提取出不同社交网络中的核心用户群体。在药物设计中，张量分解可以将化学物质的结构与药效强度联系起来，从而减少药物研发过程中的试验次数和成本。

张量分解在网络压缩中是一种常用的技术。

通过对神经网络模型参数张量进行分解，可以将原始的高维参数张量表示成多个低维子张量的线性组合，从而实现模型的参数量压缩和模型计算量的降低，同时减少模型对嵌入式设备和移动设备的资源需求，提高模型在端侧设备上的运行效率。

具体来说，张量分解可以分为三种类型：

（1）张量分解压缩（Tensor Decomposition Compression，TDC），其通过对卷积核张量进行分解，实现对CNN模型参数的压缩。

（2）张量分解加量化（Tensor Decomposition with Quantization，TDQ），其在对卷积核张量进行分解的基础上，进一步将模型参数进行量化，从而实现参数量和计算量的同时压缩。

（3）矩阵分解加哈达玛积（Matrix Factorization with Hadamard Product，MFHP），其通过对神经网络模型的全连接层进行分解，将参数矩阵表示为多个低维子矩阵的哈达玛积，从而实现对全连接层参数的压缩。

目前，张量分解在网络压缩中应用广泛。例如，OnionNet、TTQ-CNN、DSQ等均采用了TDC技术对CNN模型参数进行压缩；QANet、HAQ等则采用了TDQ技术实现对CNN模型参数的同时量化和压缩。

张量分解在联邦学习中的应用也非常广泛。由于联邦学习的主要目标是使用分散的数据进行模型训练，因此在不泄漏用户隐私的前提下，使用张量分解来对联邦学习中的模型参数进行压缩和降维，可以大大降低数据传输和计算成本，从而提高模型训练的效率和隐私保护。

具体来说，联邦学习中常用的张量分解方法包括基于核技巧的张量分解（Tensor Factorization with Kernel，TFK）、张量次秩分解（Tensor Sub-Rank Decomposition，TSRD）和张量环运算（Tensor Ring，TR）等。

其中，基于核技巧的张量分解方法将张量分解转化为基于核函数的低维特征向量的线性组合，通过核矩阵的分解和重构实现对模型参数的降维和压缩。

张量次秩分解则是将张量分解为一些次秩较低的子张量，通过张量消减和截断实现对模型参数的压缩和降维；张量环运算则是基于绕环计算的方式对多维张量进行分解，通过对张量按照环进行分块，从而实现对高维张量的压缩和降维。

目前，张量分解在联邦学习中的应用非常广泛。

例如，FedMC和TF-FL-CIFAR等算法采用了基于核技巧的张量分解来降低联邦学习中模型参数的维度和隐私泄露风险；FedMR和TRFedAvg等算法则通过张量次秩分解和张量环运算来压缩和降维模型参数，从而减少联邦学习过程中的数据传输和计算成本。

图二 联合分解

联邦学习在张量分解中的应用：

联邦学习在张量分解中的应用主要包括两个方面：第一，通过联邦学习的方式对分布式数据进行张量分解，从而保护分布式数据的隐私；第二，通过张量分解对模型参数进行压缩和降维，从而减少传输和计算开销，提高模型性能。

在应用一方面，针对联邦学习在处理分布式数据时可能涉及到的隐私问题，可以将张量分解引入到联邦学习中，通过掩码和噪声添加等技术来保护分布式数据的隐私。

具体来说，可以将数据分布式存储在多个本地设备上，并在设备内进行张量分解，只将分解后的信息上传至中央服务器进行模型训练，从而避免了上传原始数据对数据隐私的泄露。

目前，联邦学习在张量分解中的应用已经在许多领域取得了成功。

例如，FedTF算法（Federated Tensor Factorization）基于联邦张量分解的思想，将分散的用户行为数据进行合并，从而进行协同过滤推荐；FedMR-TCO算法（Federated Multi-Rank Tensor Completion Optimization）则采用联邦张量分解的方法，实现了对联邦学习中模型参数的压缩和降维，从而大大减少了计算和存储开销。

图三 网络示意图

联邦学习(FL)

联邦学习(FL)是一种新的分布式机器学习框架，它可以在不收集用户私有数据的情况下实现可靠的协同训练。然而，由于FL的频繁通信和平均聚合策略，它们在统计多样性数据和大规模模型的扩展方面遇到了挑战。

这是一种基于张量分解的个性化联邦学习框架(TDPFed)，该框架通过联邦学习设计了一种新颖的张化局部模型，其中包含张化线性层和卷积层，以降低通信成本。

TDPFed通过控制个性化模型与张张化局部模型之间的差距，使用双级损失函数将个性化模型优化与全局模型学习解耦。此外， TDPFed框架设计了有效的分布式学习策略和两种不同的模型聚合策略。

理论收敛分析和彻底的实验表明，TDPFed框架在降低通信成本的同时达到了最先进的性能。

学习张量分解需要首先理解矩阵主成分分析基本原理，并且学习基于博弈论方法的矩阵主成分分析，理解通过博弈论方法进行矩阵主成分分析的基本原理和步骤。

通过代码复现博弈论方法的矩阵主成分分析算法。然后学习张量的基本概念，学习张量之间的运算过程等，以及现有的基于张量的主成分分析方法；可以通过代码复现基本的张量分解方法，用MATLAB或Python编程实现现有的张量的主成分分析算法。并且可以独立进行简单的张量分解计算。

TDPFed框架将博弈论方法的矩阵主成分分析和张量分解结合，这是基于博弈思想的张量分解模型，使得原始模型在处理大型张量数据时可以更好的降低时间成本。

因此TDPFed中的CP分解算法在传统CP分解的基础上，将张量分解转化为每次迭代是对秩一张量的求解而非传统的对因子矩阵的更新，因此算法的迭代次数与秩一张量的个数成正比。

所以若张量维数或张量每维规模远大于张量的秩，TDPFed的分解算法在处理时间上会有比较大的优势。最后使用真实数据集验证了算法的性能。

TDPFed还介绍了改进的的张量子空间追踪算法，TDPFed通过改变因子矩阵的更新方式，将原始的对因子矩阵的行向量更新改变为对整个因子矩阵的更新可以提高更新速度，并且由于对算法的简化，处理误差也会下降。

不断优化算法，实现速度的提升，在尽量少的硬件成本下，实现更快的速度要求。并且通过数值实验验证算法性能的优越性。

图四 联邦学习

深度神经网络：

深度神经网络通常依赖于大量的训练数据。对数据共享和集成的日益增长的需求通常会导致隐私泄露，这在很大程度上破坏了深度学习的部署，特别是在安全关键应用领域，如超越5G无线网络和自动驾驶汽车。

Google在2016年提出的联邦学习(Federated Learning, FL)可以在不收集用户私人数据的情况下实现可靠的协同训练。在传统的联邦学习中，客户端在不共享个人数据的情况下单独训练局部模型，服务器定期收集客户端的局部模型，生成用于联合训练的全局模型。

之后，新的全局模型被分发到所有客户端，并取代它们当前的本地模型。然而，由于传统FL的频繁通信和平均聚合策略，它们在统计多样性数据和大规模模型的扩展方面面临挑战。

FL的主要挑战之一是训练数据的统计多样性，即非独立和相同的分布(非iid)数据，因为客户端之间的数据分布不同。

这些来自不同用户的统计差异数据使传统的FL方法产生分歧。最近，个性化FL方法被提出来解决这个问题。例如，pFedMe在个性化FL的双层问题中使用Moreau信封将个性化模型优化与全局模型学习解耦。

另一个主要挑战是FL的交通量过大，特别是在训练大规模模型时。张量分解提供了参数矩阵的低秩表示，显著减少了参数的数量。例如，CANDECOMP/PARAFAC (CP)分解将一个张量分解为几个rank-1张量的和，可以有效地减小模型大小，加快训练过程。

图五 深度网络

主要贡献：

TDPFed提出了一种新的基于张量分解的个性化联邦学习(TDPFed)框架，从模型中提取重要信息并减少通信量。通过对局部模型和全局模型进行张量分解，用户可以交替训练张量化后的局部模型和个性化模型，实现模型压缩和特征提取。本文的主要贡献如下:

1）为了降低分布式非iid数据聚合时的通信成本，首先建立了TDPFed模型。在客户端，使用本地数据训练个性化模型。然后TDPFed设计了一种新的低维因子矩阵张张局部模型，以降低通信开销。

服务器将上传的张量化局部模型聚合，然后向客户端广播全张量和因子矩阵，分别更新个性化模型和张量化局部模型。

2)设计了双级损失函数，控制了张拉局部模型与个性化模型之间的差距。在内部层面，每个客户端都旨在使用自己的数据获得最优的个性化模型，并与本地模型保持一定的距离。在外部，使用随机梯度下降法对多个客户端数据更新每个客户端的张紧局部模型。

3)为了更好地表达张化局部模型，TDPFed定义了张化线性层和卷积层，这是张量化神经网络的组成部分，包括CP-DNN, CP-VGG等。然后，TDPFed深度学习框架设计了分布式学习策略。更详细地说，他通过训练将局部模型分解为低秩表示的因子矩阵。

客户端使用因子矩阵作为本地模型，通过与服务器交互迭代训练因子矩阵，并在聚合过程中获得泛化能力，从而为个性化模型训练提供参考。

此外，TDPFed还设计了两种不同的模型聚合策略:组合张量聚合和因子矩阵聚合。其中，聚合因子矩阵不仅训练速度快，而且对模型的鲁棒性更强。

4)通过对于TDPFed的理论收敛性分析。结果表明，TDPFed的收敛速度是最先进的，具有线性加速。大量的实验结果表明，FedMac优于各种最先进的个性化算法。

基本的联邦学习框架由用户和中央服务器组成。用户使用本地数据进行训练，只需将模型上传到服务器进行聚合即可获得全局模型，在本地数据保护下，通过用户与服务器之间的迭代更新实现多方协同机器学习。

鲁棒性FL算法：

为了使FL算法对非iid数据具有鲁棒性，提出了不同的个性化FL (PFL)方法。

具体而言，Mansour等人提出了三种算法:用户聚类、数据插值和模型插值。

在局部模型和全局模型之间增加一个中间模型，对数据分布相似的用户进行分组，每组训练一个模型。在基于Google键盘的文本预测模型中，Wang等人提出在局部数据上重新训练训练好的全局模型的部分或全部参数。

用户对个性化模型进行训练，对个性化模型和全局模型进行测试，计算并上传测试指标的变化，通过对个性化模型的评价确定超参数的设置。

Smith等人提出了MOCHA框架，该框架将多任务学习与联邦学习目标函数相结合，优化联邦学习模型和任务关系矩阵，将用户的局部训练与多任务相对应，拟合独立但相关的模型，从理论上推导出算法的收敛性能。

然而，这种多任务方法对大规模网络的扩展能力有限，并且算法仅限于目标函数为凸的情况。Finn等人提出了模型不可知元学习(Model-Agnostic Meta-Learning, MAML)算法。

模型不可知意味着该算法适用于任何梯度下降训练的模型，如分类、回归、策略梯度强化学习等。该算法训练一个元模型作为一个新的初始点任务，以便模型可以在新任务上快速训练。

Fallah等人在MAML算法的基础上提出了联邦平均算法的个性化变体perFedAvg，其目的是在用户中寻找一个元模型作为初始模型，而每个用户训练的最终模型则适应于局部数据。

该算法改进了用户的目标函数。用户根据模型在局部数据集中的预测损失进行梯度下降后，根据目标函数对初始局部模型进行训练和聚合，找到所有用户共享的初始模型。

近年来，最先进的收敛速度和在非iid数据上的良好性能使得基于莫罗信封的个性化联邦学习(pFedMe)在PFL方法中很受欢迎。

pFedMe使用莫罗信封作为客户端的正则化损失，将个性化模型优化与双层次问题中的全局模型学习解耦。但是，pFedMe算法无法解决FL中用户与服务器之间的巨大流量问题。

此外，最近的一些工作通过将张量分解应用于FL网络模型，并使用代数张量运算来提高模型性能，实现了参数共享和模型特征信息的提取。

通过推导卷积运算过程，从BTD分解的角度对卷积核张量进行BTD分解。Ma等人提出了一种新的基于参数共享和低秩逼近思想的自注意方法。Bulat等人使用Tucker分解结构对CNN中的权张量进行重新参数化。

Mai等人通过张量融合实现多模式融合，并提出了图形融合网络(Graph fusion Network, GFN)来融合所有模式的编码表示。本文提出了一种基于张量分解的个性化联邦学习框架。我们的个性化结构可以有效地减少联邦学习通信流量，同时在非iid数据上表现出鲁棒性。

压缩率：

对于CP分解的网络结构，压缩率定义为张量分解后的原始网络总参数与网络全参数之比。

为了保证相同的压缩率，实验中让FedAvg在上传和下载模型参数的过程中按相同的比例随机选择一些参数进行传输，在结果中记为(s.a.r.)。

FedAvg虽然实现了随机上传，但可能不会减少整个联邦学习系统的上行流量，因为参数量为0的位置仍然需要编码和传输，所以使用的比特数可能不会减少。然而，TDPFed提出的学习架构从根本上压缩了传输的流量。

根据这些结果，TDPFed在大多数情况下的模型精度优于fedag和pFedMe，并且具有更快的收敛速度。实验结果表明，该算法在降低通信成本的同时，对非iid数据具有较好的精度。

尽管pFedMe在CIFAR-10数据集上的结果比TDPFed方案更好，但TDPFed算法极大的减少了通信负载。

参考文献：Wang, Qing, et al. "Tensor Decomposition based Personalized Federated Learning." arXiv preprint arXiv:2208.12959 (2022).