Mathematics
书籍：
程序员的数学
微积分重点
参考：http:\/\/open.163.com\/special\/opencourse\/weijifen.html
Linear Algebra
参考：麻省理工公开课：线性代数 相关笔记： http:\/\/blog.csdn.net\/suqier1314520\/article\/category\/1571247 http:\/\/blog.csdn.net\/xdfyoga1\/article\/category\/2315349
其他资料 http:\/\/codingthematrix.com\/
线性方程组的几何解释
row picture
column picture
有一个很重要的问题，对于任意b，是否都能求解Ax=b，用列的角度看待方程，这个问题即列的线性组合是否能覆盖整个空间?很明显这跟A矩阵有很大的关系，如果A是非奇异阵，这样才能组合出所有的b，以一个三方程三未知数的方程组来理解，如果系数矩阵A的3个列向量在一个平面上，那么由他们组合出的所有向量都在那个平面上，在那个平面之外的所有b都是无法得到的,这就造成方程无解。
矩阵与向量相乘的方法
- 将矩阵A与向量x的相乘，看着A各列的线性组合，这是极力推荐的。
- 原始点乘方式。
矩阵消元
消元法：将主对角线上的主元固定（0不能做主元），把主元下面的元素消为0。过程：先完成左侧矩阵的消元（变成上三角矩阵），再回代运算右侧向量，最后即可求出解完成整个消元过程。
乘法与逆矩阵
矩阵乘法
- 常规方法，行列点乘法：C=AB，C中的第i行j列结果来自A的第i行向量与B的第j列向量的点乘。整行整列的进行。
- 列方法，整列考虑，列的线性组合方式：B的一个列向量乘以A（矩阵A各列向量的线性组合）得到C的对应列向量，此过程其余列向量暂不参与计算。
- 行方法，整行考虑，行的线性组合方式：A的一个行向量乘以B（矩阵B各行向量的线性组合）得到C的对应行向量，此过程其余行向量暂不参与计算。
- 列×行法：AB等于A各列与B各行乘积之和：A中列乘以B中行，如A第一列乘以B第一行得一个矩阵（这样的矩阵很特殊，行向量和列向量都是单个向量的线性组合，第四讲会讲到有关行空间，列空间的概念），最后将得到的各矩阵相加。
- 分块乘法：将矩阵A，B分成能够相互匹配的块，然后对应进行分块行点乘分块列。
逆矩阵： 对于可逆方阵，左逆矩阵等于右逆矩阵。 不可逆矩阵，奇异矩阵，其列能通过线性组合得到0向量。
如何求逆？
- 利用列的线性组合思想，矩阵A乘以该求的逆矩阵得到单位矩阵，这样，求逆和求方程组是一个意思
- 将两个方程组放在一起考虑，如下，可理解为系数矩阵不变，分别求两个方程组的解，即可求得矩阵的逆。我们把下面两个放在一起考虑，形成增广矩阵，使得消元变换对两个方程组的作用是一样的。将增广矩阵的左侧变换消元为单位矩阵，右侧就变成其逆矩阵了。这是高斯-若尔当思想消元。
可逆矩阵转置的逆是什么？ A乘以A的逆等于单位矩阵，两侧同时转置，右侧单位矩阵转置仍然得单位矩阵，左侧分别转置两个矩阵，然后以相反顺序相乘，因此A的逆的转置乘以A的转置得到单位阵。A转置的逆即是A的逆的转置。因此，要求A转置的逆，只需要先求A的逆，然后求该逆的转置即可。转置和逆两种乘法运算，对于单个矩阵而已，其顺序可以颠倒。
什么情况下没有逆？
如果能找到一个非零向量X，使得AX=0，则A是不可逆的，也就是说如果A的列可以通过线性组合得到0，也就是说A的列有某种倍数关系时A是不可逆的 反证法。
A的LU分解
设A是一个方块矩阵。A的LU分解是将它分解成如下形式： A = LU 其中L和U分别是下三角矩阵和上三角矩阵。
一个可逆矩阵可以进行LU分解当且仅当它的所有子式都非零
任意矩阵A（不仅仅是方块矩阵）都可以进行LUP分解。其中的L和U矩阵是方阵，P矩阵则与A形状一样。
证明参考：LU分解维基百科
转置-置换-向量空间R
置换矩阵
在数学中的矩阵论里，置换矩阵是一种系数只由0和1组成的方块矩阵。置换矩阵的每一行和每一列都恰好有一个1，其余的系数都是0。在线性代数中，每个n阶的置换矩阵都代表了一个对n个元素（n维空间的基）的置换。当一个矩阵乘上一个置换矩阵时，所得到的是原来矩阵的横行（置换矩阵在左）或纵列（置换矩阵在右）经过置换后得到的矩阵。
- 单位矩阵是最基本的置换矩阵
- n阶一共有n!个置换矩阵
- 所有置换矩阵都可逆，而且逆与其转置相等。一个置换矩阵乘以其转置等于单位矩阵。
转置矩阵
矩阵转置中，对称矩阵的转置还是矩阵本身。 所有的R矩阵转置乘以R矩阵都是对称矩阵
向量空间
表示有很多向量，一整个空间的向量。但并不是任意向量的组合都能成为空间。必须满足一定规则，必须能够进行加法和数乘运算，必须能够进行线性组合，对加法和数乘运算封闭。
把R2称为一个平面，XY平面。可以将其考虑成所有向量的组合。 R3是所有三维实向量组成的向量空间。 R^n包含所有的n维向量，是n维向量空间。
向量空间性质（或者说需要满足的规则）：对加法和数乘运算封闭，或者说对线性组合封闭，即所有的空间内的向量线性组合后仍在空间内。 检验是否是空间（向量空间或者子空间）的方法就是看是否对那些运算封闭。
子空间 满足空间规则，但又不需包含所有向量。取某向量空间的部分空间（显然得到的就不是向量空间了），这部分中的向量不管是加法还是数乘，结果依然在此部分空间内，这就是子空间。 R2的子空间：1）穿过原点的直线；2）原点；（特别注意，这不是零空间，只能说零向量是R2的子空间）3）R2 R3的子空间：1）穿过原点的直线；2）穿过原点的平面；3）原点；（特别注意，这不是零空间）4）R3
矩阵的子空间的构造： 通过列向量构造，R3中，矩阵A（举例只有2列）这些列的所有线性组合构成一个子空间（得到一个平面，列共线的话就是一条直线），它也叫做列空间C(A)，C表示column意思。
列空间和零向量
行空间
有实数元素的m × n 矩阵的行空间是Rn的由这个矩阵的行向量生成的子空间。它的维度等于矩阵的秩，最大为min(m,n)。
列空间
有实数元素的m × n 矩阵的列空间是Rm的由这个矩阵的列向量生成的子空间。它的维度等于矩阵的秩，最大为min(m,n)。
矩阵A的列向量是所有A的纵列的线性组合。如果A = [a1, ...., an]，则Col A = Span {a1, ...., an}。
Ax=b 有解当且仅当 b 在 A 的列空间。
矩阵的零空间是为了判断A的列向量是否是线性无关的。
零空间
在数学中，一个算子 A 的零空间是方程 Av = 0 的所有解 v 的集合。它也叫做 A 的核, 核空间。用集合建造符号表示为
$$\hbox{Null}(A) = {\mathbf{v} \in V : A\mathbf{v} = \mathbf{0} }.$$
尽管术语核更加常用，术语零空间有时用在避免混淆于积分变换的情境中。应当避免把零空间混淆于零向量空间，它是只有零向量的空间。
如果算子是在向量空间上的线性算子，零空间就是线性子空间。因此零空间是向量空间。
当一个矩阵的零空间只有零向量时，说明该矩阵的列向量线性无关.他们是列空间的一组基 当零空间中还有其他的元素时，说明列向量线性相关
零空间是子空间的证明
下边证明所有的这些x确实构成一个子空间： 如果Ax1=0，Ax2=0 , A(x1+x2)=Ax1+Ax2=0; Akx1= kAx1=0;因此可知这个空间对加法和数乘封闭。
主变量和特解
Ax=0的新算法： 1）A矩阵消元，确定主元，解出主变量，也就确定主列，其余为自由列，自由变量； 2）然后对自由变量分配数值。 一般的，可以令其中一变量为1，其他均为0，求出一个解，再令另一个变量为1，其他为0，完成另一个解。。。求出的这些解向量完全不同，每一个解都是零空间的一部分，整个解就构成了完整的零空间了。
特解：零空间内特定的解，给定自由变量特定的值（1或者0）求出的解。 通过特解能构造出整个零空间，有了特解，就能有常数倍特解，他们之间的和线性组合构成了整个零空间。（和表示任意线性组合，任意线性组合仍然在零空间内）。
求解Ax=b：可解性和解的结构
Ax=b可解性Solvability：有解时右侧向量b须满足的条件
- 有解，仅当b属于A的列空间时成立，即，b必须是A的各列的线性组合，
- 行的线性组合如果得到零行，那么b中元素的同样组合必然也是零。
这两种描述是等价的！他们同样是描述方程组有解的条件。
求解Ax=b的解
- 特解，将所有的自由量设置为0，然后解出主变量得到特解Xp
- 零空间中的任意x，Xn
因此Ax=b的所有解为特解加上零空间中任意向量。
秩r与Ax=b的解的关系
当r=n<m时，可能有0个解或1个解，这取决于b的取值。 当r=m<n时，解总是存在的，因为化简后下面没有零行，因此它有无穷多个解。 当r=m=n时，方程组有唯一解。 当r<m 且r<n时，这种情况要么无解，因为某些b分量可能不符合0=0，要么有无穷多解，因为存在自由变量。 总之矩阵的秩决定了方程组解的数目。
线性相关、基、维数
向量组线性相关性：线性组合不为0
生成：向量的所有线性组合
基：一组无关的向量，并生成空间
维数：基向量的个数
零空间的维数等于自由变量的个数
四个基本子空间
对于矩阵A，其列空间是C(A)，零空间N(A)，行空间是C(AT)，左零空间是N(AT) 列空间C(A)的维数是r，零空间N(A)维数是n-r，行空间C(AT)维数是r（A转置的主元数与A的主元数是相同的），左零空间N(AT)是m-r。
列空间
零空间
行空间：矩阵转置的列空间
矩阵转置的零空间
矩阵空间、秩1矩阵和小世界图
矩阵空间
所有的秩1矩阵都能表示为一列基乘以一行基的形式A=UVT，秩1矩阵就像搭其它矩阵的积木，任何矩阵都可以表示为若干个秩1矩阵的组合，例如如果有一个5*17的矩阵，它的秩为4，那么这个矩阵就可分解为4个秩1矩阵的组合。
小世界图，引出图论和线性代数的关系 图是结点和边的集合，边连通各个结点。比如一个5个点6条边的图可以用一个5×6的矩阵完全表示。一个有趣的问题是：一个由很多结点和很多条边组成的图，最大的两点距离是多少？有研究表明，只需要6步，这也是小世界的名称的来源，下讲会更多讲解
图和网络
矩阵A是一切的开始，Ax得到电势差，Ax=e（电势差是e设为0），电流y=ce（电流y等于电势差的常数倍，欧姆定律），ATy=f（基尔霍夫电流定律，在没有外部电源电压的影响下f设为0），最终得平衡方程ATcAx=f。A转置乘以A总是对称的，下讲继续分解。
正交向量与子空间
将正交从向量推广到子空间，定义子空间S和子空间T，如果S和T正交，那意味着S中的每个向量和T中的每个向量都正交
子空间投影
第一点，投影矩阵仍然是对称阵，将P进行转置即可得出结论；第二点，P2=P，即进行第二次投影时还是会投影在第一次投影的地方，接下来我们简单看看投影思想在最小二乘法中的应用。
当我们遇到一个方程组，有太多的方程，未知数却只有几个，现在我们要求它的最优解。假设有三个点（1,1），（2,2），（3,2），这三个点拟合直线b=C+Dt，首先我们要建立矩阵A，只要找到A，我们就能使用上面推导的那些公式，C+D=1，C+2D=2，C+3D=2，所以对于这个例子，对应的无解方程Ax=b为，
投影矩阵和最小二乘
如果矩阵A各列线性无关（是最小二乘法成立的大前提），证明ATA是可逆矩阵。
首先，相互垂直的各列向量一定是线性无关的（零向量除外）。相互垂直的单位向量一定是线性无关的，它们称为标准正交向量组。比如w(cosθ,sinθ)和v(-sinθ,cosθ)就是一组典型的标准正交向量（相互垂直且是单位向量）。下讲看看标准正交向量组有什么优点以及如何使向量组标准正交化。
正交矩阵和 Gram-Schmidt 正交化
正交向量，用数学式子来表达就是
由正交向量构成的方阵称为正交矩阵（orthogonal matrix）
正交矩阵的例子
Gram-Schmidt正交化方法是将线性无关的向量转化为标准正交化向量的方法
行列式及其性质
性质：
- 单位矩阵的行列式为1
- 如果交换矩阵的两行，则行列式的符号要取反。从这个性质我们可得出置换矩阵的行列式总是为1或-1，这取决于行交换的次数，行交换奇数次则为-1，偶数则为1。
- 如果用某数t乘以矩阵的一行，则行列式等于原行列式的t倍。
- 如果矩阵中有两行相等，那么行列式为0
- 从矩阵的行k减去行i的l倍，行列式不会改变，即消元过程不改变行列式
- 若矩阵中有一行是全0，则|A|=0
- 三角阵的行列式等于对角线元素乘积
- 当且仅当A是奇异阵时，detA=0，否则就是非奇异阵
- detAB=det(A)det(B)
- det(AT)=det(A)
行列式和代数余子式
aij的代数余子式概念Cij是：去掉aij所在的行与列，剩余的因子组成的n-1阶行列式，并且，正负符号为：当i+j为偶数时取正，i+j为奇数时取负。
代数余子式为Cij=(-1)i+j det(去掉i行j列之后的n-1矩阵)
两种主要的求行列式的方法：
- 行列式等于主元的乘积（主元公式），只要先通过消元得到主元，最简单；
- 通过代数余子式的方法，把原行列式展开成更简单的行列式。
克莱姆法则、逆矩阵、体积
A的求逆矩阵公式：A-1=（1\/detA）*CT 。（C是由代数余子式组成的矩阵） CT是原矩阵A的伴随矩阵，伴随矩阵11元素就是原矩阵11元素的代数余子式，由于转置的缘故，伴随矩阵12的元素是原矩阵21元素的代数余子式。 克莱姆法则的作用主要是提供一种代数表达式，而不是一种算法，不建议使用它来计算。 行列式可用来求二维形状的面积或三维形状的体积
特征值和特征向量
特征向量和特征值概念 Ax，矩阵A的作用就像输入向量x，结果得到向量Ax（就像一个函数，微积分中的函数表示作用在数字x上得到f(x)），扩展至多维，矩阵A作用在一个向量x上，得到向量Ax，我们感兴趣的，变换前后方向一致的向量，对多数向量而言方向是不一致的，但有特定的向量能使Ax平行于x，这些就是特征向量。
Ax=λx，满足这个方程的向量是A的特征向量，Ax平行于x，方向相同或相反。 x就是矩阵A的特征向量，λ就是特征值。
考虑若λ=0，那么Ax=0，当A是奇异矩阵，即可以把某个非零向量转化为0向量（当A为奇异矩阵时，必有一个特征值是0）。
特征值的性质
- n*n矩阵就有n个特征值，当然这n个特征值有可能有相等的
- 特征值的和等于对角线元素和，这个和数叫做迹（trace）
- 特征值的积等于矩阵的行列式
证明过程参考：https:\/\/www.adelaide.edu.au\/mathslearning\/play\/seminars\/evalue-magic-tricks-handout.pdf
给定矩阵Ax=λx，那么 (A+3I)x=Ax+3Ix=λx+3x=(λ+3)x，特征向量x是A和(A+3I)共同的特征向量。
如果矩阵是对称的或者接近对称的，那么特征值就是实数； 如果矩阵越不对称（反对称矩阵QT=-Q），那么特征值越可能为纯虚数。
对角化和矩阵的幂
给定矩阵A，假设A有n个线性无关特征向量，按列组成矩阵S，所以这个S很自然地称为特征向量矩阵，并且
可对角化矩阵定义
可对角化矩阵是线性代数和矩阵论中重要的一类矩阵。如果一个方块矩阵 A 相似于对角矩阵，也就是说，如果存在一个可逆矩阵 P 使得 P −1AP 是对角矩阵，则它就被称为可对角化的
应用
对角化可被用来有效的计算矩阵 A 的幂，假如矩阵是可对角化的。比如我们找到了
$$P^{-1}AP = D$$
是对角矩阵，因为矩阵的积是结合的，
$$\begin{align} A^k &= (PDP^{-1})^k = (PDP^{-1}) \cdot (PDP^{-1}) \cdots (PDP^{-1}) \ &= PD(P^{-1}P) D (P^{-1}P) \cdots (P^{-1}P) D P^{-1} = PD^kP^{-1} \end{align}$$
而后者容易计算，因为它只涉及对角矩阵的幂。
在找到线性递归序列比如斐波那契数列的项的闭合形式的表达中这是非常有用的。
解题思路
对于动态增长的一阶方程组，初始向量是u0，关键在于确定A的特征值和特征向量，特征值决定增长的趋势，发散只无穷还是收敛于0。接着需要找到一个展开式把u0展开成特征向量的线性组合，而且各个特征向量是独立的，然后就可以套用公式。
微分方程和exp(At)
如何解一阶方程，一阶导数，常系数线性方程，可以将他们转化为线性代数的问题，关键思路是：常系数线性方程的解是指数形式的，如果在找一个指数形式的解，找出指数是多少，系数是多少，这是线性代数的拿手活。会发现这和矩阵的乘幂完全平行。
探讨方程的问题
- 趋于稳态的条件是u(t)->0. 在本例中需要λ的实部为负数
- 稳态的条件：λ1=0，其余的λ实部<0
- 任何λ的实部>0，则方程无法收敛
微分方程（英语：Differential equation）是一种数学方程，用来描述某一类函数与其导数之间的关系。微分方程的解是一个符合方程的函数。
马尔科夫矩阵、傅立叶级数
马尔科夫矩阵
满足两条性质：1）所有元素大于等于0； 2）所有矩阵的列相加等于1。（这个性质保证了特征值为1, 直接求的 (A-λI)x= 0 det(A-λI)=0, 线性相关，（1，1，1）为左零向量）
马尔科夫矩阵的特征值：
- 有λ=1是它的一个特征值，它对应的特征向量x1的所有元素是非负值；
- 所有其他的特征值 |λi|<1；
傅里叶级数
投影问题引出傅里叶级数
带有n个标准正交基的投影问题Qn×n，基向量q1,q2...qn，那么空间中任意向量v都可由这个标准正交基类线性组合得到：v=x1q1+x2q2+...+xnqn，现在要知道x1,或者x2是多少，可以用展开式来表达，将向量展开到标准正交基上去，这是在做投影，由于这组基是标准正交基，所以x1,x2..的求解有计算公式。求x1的时候将q1与式中任一一项做内积就能得到x1了
傅里叶级数：
已知f(x)=a0+a1cosx+b1sinx+a2cos2x+b2sin2x+...，无穷维，但关键性质还是正交，正交性对sin和cos仍成立，这使得傅里叶级数有意义，这就是傅里叶级数。
傅里叶级数比较上面的向量空间的等式，是函数空间f(x)替换向量空间v，正交函数替换正交向量q1,q2...
这里函数正交的意义在于：两个函数的内积等于0。（用积分代替求和）
现在有了函数空间的无穷正交基，现在需要做的就是把函数展开到基上，需要求出系数a是多少。同向量空间的做法，等式左右两边同时乘以正交基分量，就可得到傅里叶级数系数公式。
对称矩阵及正定性
对称矩阵
- 实对称矩阵的特征值也是实数
- 特征向量都是正交的
判定矩阵是否为正定矩阵（positive definite matrix）有以下4种方法，每种方法都是正定性的完整判断条件：
- 特征值判定：如果矩阵的所有特征值均为正，则该矩阵正定
- 行列式判定：如果矩阵的所有顺序主子式为正，则矩阵正定
- 主元判定：如果所有主元为正，则矩阵正定
- 如果对任意的非零向量x有 ，则矩阵A正定
复数矩阵和快速傅里叶变换
实矩阵和实变量里面的转置，到复数领域里要共轭。正交矩阵里复数领域里叫酉矩阵。
傅里叶矩阵
正定矩阵和最小值
对称矩阵是否是正定矩阵的判断方法
- 特征值方法：λ1>0, λ2>0
- 行列式方法：a>0, ac-b2>0
- 主元方法：第一个主元 a>0，第二个主元 (ac-b2)\/a>0
新方法：xTAx>0，x是任意向量，除x=(0 0)。x=(x,y)，f(x,y)=xTAx=ax2+2bxy+cy2
半正定矩阵：不是正定矩阵，是对称的，是成为正定矩阵的临界点，奇异矩阵，有一个特征值为0，特征值大于等于0
怎样判断极小值
微积分中，判定是否有极值，首先需要判断导数是否为0，然后要确定是极大值还是极小值，此时需要看二阶导数，二阶导数大于0时，有极小值，如果上图中从左往右看，通过最小值点后，斜率则必须是变大的。
相似矩阵和若尔当形
在线性代数中，相似矩阵是指存在相似关系的矩阵。相似关系是两个矩阵之间的一种等价关系。两个n×n矩阵A与B为相似矩阵当且仅当存在一个n×n的可逆矩阵P，使得：
$$! P^{-1} A P = B 或 ! A P =P B$$
P被称为矩阵A与B之间的相似变换矩阵。
判断两个矩阵是否相似的辅助方法：
- 判断特征值是否相等
- 判断行列式是否相等
- 判断迹是否相等
- 判断秩是否相等
以上条件可以作为判断矩阵是否相似的必要条件，而非充分条件。
奇异值分解
奇异值分解（singular value decomposition）是线性代数中一种重要的矩阵分解，在信号处理、统计学等领域有重要应用。奇异值分解在某些方面与对称矩阵或厄米矩阵基于特征向量的对角化类似。然而这两种矩阵分解尽管有其相关性，但还是有明显的不同。对称阵特征向量分解的基础是谱分析，而奇异值分解则是谱分析理论在任意矩阵上的推广。
假设M是一个m×n阶矩阵，其中的元素全部属于域K，也就是实数域或复数域。如此则存在一个分解使得
$$M = U \Sigma V^*, \,$$
其中U是m×m阶酉矩阵；Σ是m×n阶非负实数对角矩阵；而V*，即V的共轭转置，是n×n阶酉矩阵。这样的分解就称作M的奇异值分解。Σ对角线上的元素Σi,i即为M的奇异值。
常见的做法是将奇异值由大而小排列。如此Σ便能由M唯一确定了。（虽然U和V仍然不能确定。）直观的解释在矩阵M的奇异值分解中
$$M = U\Sigma V^*, \,$$
-V的列（columns）组成一套对$$M\,$$的正交"输入"或"分析"的基向量。这些向量是$$M^\,M$$的特征向量。 -U的列（columns）组成一套对$$M\,$$的正交"输出"的基向量。这些向量是$$MM^\,$$的特征向量。 -Σ对角线上的元素是奇异值，可视为是在输入与输出间进行的标量的"膨胀控制"。这些是$$MM^\,$$及$$M^\,M$$的特征值的非零平方根，并与U和V的行向量相对应。
线性变换及其对应的矩阵
设 V 和 W 是在相同域 K 上的向量空间。法则$$ f : V → W $$被称为是线性映射，如果对于 V 中任何两个向量 x 和 y 与 K 中任何标量 a，满足下列两个条件:
可加性： $$f(x+y)=f(x)+f(y) \,$$ 齐次性： $$f(ax)=af(x) \,$$ 这等价于要求对于任何向量 x1, ..., xm 和标量 a1, ..., am，方程 $$f(a_1 x_1+\cdots+a_m x_m)=a_1 f(x_1)+\cdots+a_m f(x_m)$$成立。
基变换和图像压缩
在线性代数中，n 维向量空间的基是 n 个向量 α1, ..., αn 的序列，带有所有这个空间中的向量可以唯一的表达为基向量的线性组合的性质。因为经常需要处理一个向量空间的多于一个的基，在线性代数中能够轻易的变换向量的逐坐标表达，和变换关于一个基的线性映射到关于另一个基的等价表达是根本重要的。这种变换叫做基变更。
一个好的基需要有哪些性质？ 1）计算快； 2）良好的压缩性，少量的基向量就能接近信号，能够重现图像。
线性变换，如果变成一组不同的基去做变换，发生了两件事： 1）每个向量有了新坐标，新旧坐标的关系为x=Wc； 2）每个矩阵变了，每一个变换有一个新矩阵，新矩阵之间的关系就是B=M-1AM。