主题：【求助】又当伸手党了，非常惭愧，这次是最小二乘的问题 -- 上善若水

用最小二乘法进行多元线性拟合，一组函数值Y,五组变量X1~X5，要拟合出X1~X5的系数。但是其中两组数据X2,X3相关系数比较高，达到了95%。其实，最终只需要X1的系数，请问应该怎么处理？

能详细点吗，拟合后哪个系数的权重大，每个变量是不是都有物理意义，现在的情况有什么问题？

我的目的是为了让X1的拟合系数最准。但是由于X2,X3共线性严重，因此，导致单用X2或是X3，X1的拟合结果差异不大，但是X2,X3一起用，就会波动很大。

现在问题是，如何让X2,X3参与拟合，但消除掉共线性问题，使得X1的拟合结果最好！

Basic Econometrics

Damodar Gujarati, Dawn Porter

Publisher: McGraw-Hill/Irwin; 5 edition (October 8, 2008)

ISBN-10: 0073375772

ISBN-13: 978-0073375779

感觉上您不是专门做统计方面的，这应该算一本比较初级的书，希望能够有帮助

X2,X3复共线性，X2,X3不独立，你随便去掉一个因子X2或者X3就行了。你只要和X1做回归就可以了阿。相关系数0.95吗？95%怪怪的。

我不是做统计的。只是工作中碰到了这样的问题，自己查了些文献，没有想通，故有此一问。

能再说的详细点吗？

在整个线性拟合的过程中，x2,x3代表的是一个变量，但是x2是这个变量的初值，x3是终值，也就是说在一个过程中，从x2变化到x3。

所以x2、x3相关系数很高。

单独使用x2或x3，恰好会高估或是低估x1的拟合系数，这也就是为什么要同时使用x2和x3。

从x2变化到x3，我不知道是不是一个线性变化，如果知道了，用x2和x3平均值就行了，但是我不知道这个过程是不是线性的。

x2是初值，x3是终值，本身x2和x3不互相独立，对这种复共线性一般的处理方法是丢弃一个保留一个；变通的处理方法你可以用x2和x3构造出新的变量，比如(x2+x3)/2这个最简单的平均数。当然你也可以造一个非常复杂的变量，这个随你。

在这里统计大牛是老马丁，嘿嘿。

想过这样的办法，或者分别拟合，最后两个X1的拟合系数再平均。

不过有点不太甘心，希望能找到更好的办法。

这个情况应该是出现病态矩阵了，解决方法在网上找到了正交函数做最小二乘拟合，避过了矩阵的解法。

1.可以采用主成分分析，把x2和x3整成另外一个新的向量y。然后再拟合。

2.也可以用一些像ridge regression的方法，因为x2,x3的相关性强，设计矩阵X=(x1,x2,x3,..x5)不满秩,从而（X'X）不可逆，因此可以将用（X'X+lamdaI）代替。不过这个就不算是最小二乘了，而且参数是有偏，但是好处是方差小，稳定，最小均方误也小。

我以前说过：各个专业学的统计是"不一样"的；但是在econometrics里面，仅仅因为multicollineariy就随便扔掉一个变量，可以是非常严重的错误。

1、主成分分析的办法。就用第一主成分？还是用第一和第二主成分？

或像下面老农民提出的，就用x2,x3的均值。这两种方法比较起来，从方法上讲，如何更好的解释结果呢？

2、脊回归的k参数如何确定呢？能简单的说说嘛，或是给个例子。

非常感谢！