主题：【求助】又当伸手党了，非常惭愧，这次是最小二乘的问题 -- 上善若水

1.主成分分析其实就是对原来的变量进行正交变换降维，同时尽可能的提取原来变量中的信息。如果你能确保只有X2 X3是高度相关的，那么就只需要对X2 X3进行变换。 这样的话，就更简单了，并不一定非局限于主成分分析了。

像老农民的取均值的方法就常用而且直接。 如果想解释的话，可以考虑 一下取均值之后 y=1/2*X2+1/2*X3的 方差 和 var（X1）+var （X2）的差距，看看信息损失多少。 当然也可以直接用主成分分析，唯一的 不同就是这个是正交变换，y=a1*X1+a2*X2,你这种情况肯定是只能取第一主成分了，基本上应该解释绝大多数的方差变异了,一般来讲如果这个大于85%就是非常好了。

但是一上来扔东西肯定是不可取的。我觉得老农民说扔掉其中一个变量，可能就是先直接回归，也别管是不是相关。 如果有权重系数特别低，这样情况下，确实可以考虑扔掉一个，但得慎重。

2.关于脊回归的K，这个没有硬性规定的，当然是k越小越好，但是K越靠近0， 参数估计越不稳定。所以一般都是要取一个区间I=[0，a]的，进行比较。如果参数估计稳定了，那就应该差不多了。

这有个链接，是用SAS做的最简单的脊回归。当然也可以用R。

http://www.faculty.sfasu.edu/cobledean/Regression/Examples/RidgeRegressionExample.pdf