这种使用均方误差作为损失,并求得损失最小值的方法就叫做最小二乘法线性模型相信很多人遇到最小二乘法是在高中数学必修三里,那么让小编来为大家介绍一下什么最小二乘法以及二乘法的运用和案例。
什么是最小二乘法
最小二乘法(又称最小平方法)是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。最小二乘法还可用于曲线拟合。其他一些优化问题也可通过最小化能量或最大化熵用最小二乘法来表达。
最小二乘法原理
最小二乘法(又称最小平方法)是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。
利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。
最小二乘法还可用于曲线拟合。
其他一些优化问题也可通过最小化能量或最大化熵用最小二乘法来表达。
示例：数据点(红色)、使用最小二乘法求得的最佳解(蓝色)、误差(绿色)。
某次实验得到了四个数据点：...(右图中红色的点)。我们希望找出一条和这四个点最匹配的直线，即找出在某种“最佳情况”下能够大致符合如下超定线性方程组的和：
最小二乘法采用的手段是尽量使得等号两边的方差最小，也就是找出这个函数的最小值：
最小值可以通过对分别求和的偏导数，然后使它们等于零得到。
如此就得到了一个只有两个未知数的方程组，很容易就可以解出：
也就是说直线是最佳的。
人们对由某一变量或多个变量……构成的相关变量感兴趣。如弹簧的形变与所用的力相关，一个企业的盈利与其营业额，投资收益和原始资本有关。为了得到这些变量同之间的关系，便用不相关变量去构建，使用如下函数模型,
个独立变量或个系数去拟合。
通常人们将一个可能的、对不相关变量t的构成都无困难的函数类型称作函数模型(如抛物线函数或指数函数)。参数b是为了使所选择的函数模型同观测值y相匹配。(如在测量弹簧形变时，必须将所用的力与弹簧的'膨胀系数联系起来)。其目标是合适地选择参数，使函数模型最好的拟合观测值。一般情况下，观测值远多于所选择的参数。
其次的问题是怎样判断不同拟合的质量。高斯和勒让德的方法是，假设测量误差的平均值为0。令每一个测量误差对应一个变量并与其它测量误差不相关(随机无关)。人们假设，在测量误差中绝对不含系统误差，它们应该是纯偶然误差(有固定的变异数)，围绕真值波动。除此之外，测量误差符合正态分布，这保证了偏差值在最后的结果y上忽略不计。
确定拟合的标准应该被重视，并小心选择，较大误差的测量值应被赋予较小的权。并建立如下规则：被选择的参数，应该使算出的函数曲线与观测值之差的平方和最小。
最小二乘法推导
高中必修3变量间的相关关系一节中，回归直线方程的求解过程省略了推导过程，先推倒如下：
2求Q (a 、b 为变量)的最小值 (a , b ) =(y bx a ) i -i -
i =1∑n
思路：用配方法求Q (a , b ) 的最小值.
2 Q (a , b ) =(y bx a ) ∑i -i - i =1n n =∑∑n n i =1y i +∑x i b +n a -2∑x i y i b -2∑y i a +2∑x i ab 2222n n n i =1n i =1n i =1i =1= i =1 n x ab y i +∑x i b +n a -2∑x i y i b -2n y a +22222i =1i =1=n [a -2(y -b x ) a ]+∑x i b -2∑x i y i b +2n 22ni =1i =1∑n ) y i (将a 视作“主元”n n 2i =1 =n [a -2(y -b x ) a +(y -b x ) ]n (y -b x ) -2∑x i y i b ++∑x i b -22n 222i =1i =1∑y i 2i =1=n [a -(y -b x )]+(∑x x ) b -2(x n x y ) b +(∑y i -n y ) ∑i -n i y i -2n 222n n 22i =1i =1i =1
(完成对“主元”a 的配方后，再着手对剩余的b 配方)
n 222=n [a -(y -b x )]+(∑x i -n x ) b -i =1 n x y -n x y ∑i i i =1 n 22x -n x ∑i i =1n 2+(∑y i -n y ) -2 i =12(∑x i y i -n x y ) 2i =1n ∑x i =1n 2i -n x 2 n 222=n [a -(y -b x )]+(∑x i -n x ) b -i =1 x y -n x y ∑i i i =1 n 22x i -n x ∑i =1n 2
最小二乘法例题讲解
n个人对同一支铅笔的长度进行测量，得到n个长度数据：X1，X2，X3，……，Xn。
那么这支铅笔的合理长度X，应该使所有偏差的平方和
Y(X)=(X1-X)^2+(X2-X)^2+(X3-X)^2+……+(Xn-X)^2，即
Y(X)=n*X^2-2*(X1+X2+X3+……+Xn)*X+[(X1)^2+(X2)^2+(X3)^2+……+(Xn)^2]最小。
这是一个简单的一元问题，用不用导数都可以得到：合理长度为X=(X1+X2+X3+……+Xn)/n。
稍复杂一点，管道里不同压力V下，测量水流速度I，得到n组数据：(V1,I1)、(V2,I2)、(V3,I3)、……、(Vn,In)。
为了确定经验公式I=aV+b中的a和b。应该使所有偏差的平方和
Z(a,b)= [I1-(aV1+b)]^2+[I2-(aV2+b)]^2+[I3-(aV3+b)]^2+[In-(aVn+b)]^2，
