第一周-数学基础的学习大纲矩阵对角化，SVD分解以及应用逆矩阵，伪逆矩阵PCA原理与推导极大似然估计，误差的高斯分布与最小二乘估计的等价性最优化，无约束，有约束，拉格朗日乘子的意义，KKT条件课程2 逆矩阵，伪逆矩阵，最小二乘解，最小范数解；PCA原理与推导1. 逆矩阵，伪逆矩阵，最小二乘解，最小范数解

1, 2, ⋯ , , ∈ ℝ

1, 2, ⋯ , , ∈ ℝ1

1 = 111 + 122 + ⋯ + 1

2 = 211 + 222 + ⋯ + 2

⋮

= 11 + 22 + ⋯ +

××1 = ×1

当 = 且×可逆时：

= −1s

一般情况： ≠ n

设min||X − ||2 =

则对矩阵求导可得，/= X(X − ) = 0

XX = X XX是否可逆？

补充：矩阵可逆的条件：

R（A）=n，即若矩阵满秩则矩阵可逆

秩的定义：矩阵中所有行向量中极大线性无关组的元素个数。

1. N > n

如 = 5, = 3 (XX)3×3一般是可逆的

补充： R(AB)<<R(A)或R(B)

则 = (XX)(−1)X

此时(XX)(−1)X即为伪逆矩阵

2. <

如 = 3, = 5 (XX)5×5

(XX) ≤ (X) ≤ 3

故XX不可逆

此时就需要加上正则项得，

这里所求的解便是最小范数解

2. PCA原理与推导

PCA仍然是一种数据压缩的算法

如图所示，A点需要x,y两个坐标来表示，假设A在向量u上面的投影点为A’，则A’仅仅需要一个参数就能表示，就是OA’的长度(即A’在u上的坐标),我们就想着用A’来替换A，这样N个点(原来要2*N个参数),现在只需要(N+2)个参数(u也需要2 个参数)

但是此时就带来了误差，如AA’和BB’,所以我们要能够找到这样一个方向u,使得所有原始点与投影点之间的误差最小。

后续将继续更新课程内容. . . .