前言：
目前兄弟们对“bfgs算法理论分析”大体比较注重，小伙伴们都需要了解一些“bfgs算法理论分析”的相关内容。那么小编在网上汇集了一些对于“bfgs算法理论分析””的相关资讯，希望我们能喜欢，我们一起来学习一下吧！众所周知，Logistic回归算法是最常用的算法之一，属于线性回归。然而，线性回归通常存在一个问题:共线性。为了解决这个问题，需要引入岭回归(Ridge Regression)和Lasso回归。
岭回归在平方误差基础上增加正则项，采用的是L2正则。
Lasso回归采用L1正则
Lasso回归损失函数不可导，不能用传统的梯度下降求解，为了求解回归系数引入拟牛顿法。
BFGS算法需要较大存储空间，引入L-BFGS算法来解决，通过只保存最近m次迭代信息，以降低数据存储空间。
版权声明：
本站文章均来自互联网搜集，如有侵犯您的权益，请联系我们删除，谢谢。
标签： #bfgs算法理论分析
