高级计量经济学3.doc
![资源得分’ title=](/images/score_1.gif)
![资源得分’ title=](/images/score_1.gif)
![资源得分’ title=](/images/score_1.gif)
![资源得分’ title=](/images/score_1.gif)
![资源得分’ title=](/images/score_05.gif)
《高级计量经济学3.doc》由会员分享,可在线阅读,更多相关《高级计量经济学3.doc(12页珍藏版)》请在得力文库 - 分享文档赚钱的网站上搜索。
1、.*第3章 最小二乘法和最小二乘估计Chapter 3 Least Squares线性模型中的参数估计有多种方法,其中最小二乘法是最为著名的。即使已经发现其他方法比较优越,但是最小二乘法仍然是线性模型估计的基础方法,最小二乘估计的性质已经得到了广泛应用。3.1 最小二乘回归(least squares regression)随机线性关系中的未知系数是我们考虑的重点,也是我们进行估计的主要目标。这时我们有必要区分母体变量(例如和)和它们的样本估计,对应地表示为和。母体回归方程可以表示为:它的估计表示为: (3.1)与第i个数据点相关的扰动项可以表示为: (3.2)如果获得了回归系数的估计,则可以
2、利用回归方程的残差来估计随机扰动项,即 (3.3)根据这些定义和表示,可以得到: (3.4)母体量是每个的概率分布中的未知系数,我们希望利用样本数据来估计这些参数。虽然这是一个统计推断问题,但是我们仍然可以直观地认为应该选取向量,使得拟合直线尽量地靠近数据点。如果描述这种靠近性,需要一定的拟合准则,其中最为广泛使用的是最小二乘法。3.1.1 最小二乘系数向量可以通过极小化下述残差平方和来获得最小二乘系数向量。 (3.5)其中表示系数向量的选择。利用矩阵形式表示上述残差平方和: (3.6)将上述目标函数展开得到(注意利用标量的转置不变的性质): (3.7)极小化的一阶条件为(相当于对向量求导数,
3、要么利用向量展开,要么利用向量求导公式): (3.8)假设是最小二乘的解,则它必须满足最小二乘正规方程(least square normal equations): (3.9)如果解释变量矩阵的满秩条件满足,则有:这说明矩阵是可逆矩阵,因此正规方程的唯一解为: (3.10)注意到上述条件只是极小化问题的必要条件,为了判断充分性,我们需要求出目标函数的Hessian矩阵: (3.11)如果这个Hessian矩阵是正定的,则可以判断所得到的解是唯一的最小二乘解。显然,根据正定矩阵的定义或者正定矩阵的判断准则,可知当矩阵的满秩条件满足时,矩阵是正定的,因此最小二乘解的充分性成立。通过上述最小二乘解
4、的表达式,我们可以得到最小二乘解的下述代数性质:命题3.1 对于线性模型和相应的最小二乘估计,则有:(1) 最小二乘残差的和为零。即 (2) 回归超平面通过数据的均值点,即(3) 从回归方程中获得的拟合值的均值等于样本观测值的均值,即证明:(1) 根据正规方程,可知:这说明对于矩阵的每一列,都有,由于矩阵的第1列中都是1,所以得到(因此这条性质成立的前提条件是回归模型中包含常数项):(2) 正规方程表示为矩阵形式为:将上述矩阵方程的第一个方程表示出来,则有:根据数据的样本均值定义,则有:也即:(3) 根据拟合值的定义:,即,则有:上述矩阵方程的第一个方程可以表示为:则有:需要注意的是,上述命题
5、成立的前提是线性模型中包含常数项,也就是第一个解释变量是“哑变量”形式。这样一个思考题目就是,当线性模型中不包含常数项时,结论是什么样的?3.1.2 投影和投影矩阵(projection and projection matrix)获得最小二乘估计以后,可以获得下述最小二乘残差: (3.12)将最小二乘估计的表达式代入,得到: (3.13)其中定义的矩阵在回归分析中是非常基础和重要的。显然,这个矩阵是对称幂等矩阵:,其次,还有一些重要的性质需要大家注意,例如对称幂等矩阵的特征根非0即1(对称矩阵的特征均为实数),因此矩阵具有性质:矩阵的迹等于矩阵的秩。诸如这样的性质,需要大家复习一下线性代数中
6、的有关定义和命题。根据上述方程(2.12)和(2.13),矩阵的作用是,它乘积作用在某个向量上,就可以得到这个向量基于数据变量的最小二乘回归的残差向量,因此经常将这个矩阵称为“残差生成算子”(residual maker)。这里需要注意的定义和所作用的变量,是所作用变量关于定义中数据矩阵的回归残差。显然,基于自己的线性回归的最小二乘残差一定为零,则必然有(即使验证也十分显然): (3.14)根据方程(2.12),可以得到: (3.15)这说明最小二乘回归将变量分解成为两个部分,一个部分是拟合值,另一个部分是残差,由于 (3.16)这说明最小二乘回归与残差是正交的。因此,这样的分解是正交分解,也
7、就是说最小二乘的拟合值向量和残差向量是正交的(意味着这两个向量之间的夹角为垂角)。这时也可以得到: (3.17)这里矩阵也是一个对称幂等矩阵,我们称其为投影矩阵(project matrix),它是有矩阵构成的,并且它如果乘积作用到向量上,则可以得到基于变量的最小二乘回归的拟合值。这也是向量在矩阵的各列生成的线性空间上的投影。注释:假设在矩阵的各列生成的线性空间上的投影是,则的定义是:,且选择使得 (3.18)由于上述向量之间的模与最小二乘距离是一致的,因此上述最小值也得到了最小二乘估计,因此最小二乘估计的拟合值也是投影值。为了更好地理解上述定义和公式,我们将一些有用的结论归纳为下述命题:命题
8、3.2 在线性模型的最小二乘估计中,可以得到:(1) 矩阵和矩阵是正交的,即: (3.19)(2) 矩阵具有自投影不变性,即: (3.20)(3) 向量可以通过投影进行正交分解,即分解为投影和残差: (3.21)其中是投影,是残差。(4) 平方和分解公式成立: (3.22)(5) 残差平方和可以表示为: (3.23)(6) 残差平方和也可以表示为: (3.24)证明:(1) 根据定义:,因此:。取转置矩阵就可以得到。(2) 根据投影矩阵定义,或者根据投影的定义,都可以直接验证。(3) 因为,因此可以得到分解公式为:,是投影,即最小二乘回归的拟合值;是最小二乘的残差向量,投影和残差是正交的。(4
9、) 因为矩阵和矩阵都是对称幂等矩阵,则有:因此这种平方和分解公式十分重要,将其表示成为标量形式则更为清楚。(5) 因为,并且是对称幂等矩阵,则有:(6) 因为,则有:根据(4)所给出的平方和分解公式,则有:由此可知(也可以直接验证):,因此得到:线性模型中存在多种关系式,需要多加联系并熟练掌握。3.2 分块回归和偏回归(partitioned regression and partial regression)通常在进行线性回归时我们假定了完全的回归变量,但事实上我们只对其中的部分变量感兴趣。这时我们就需要考虑将一部分变量从回归变量中删除所导致的结果。假设回归方程中涉及到两部分变量和,这时有:
10、 (3.25)为了求解上述参数的最小二乘估计,考虑下述正规方程: (3.26)上述四块矩阵可以通过下述分块逆矩阵公式得到: (3.27) (3.28)也可以直接求解得到: (3.29)上述解的公式表明,系数的最小二乘估计是基于的回归系数,减去一个修正向量。上述获得参数估计的过程具有典型的统计意义,首先,是被解释变量中剔除变量的剩余部分;其次,将剩余部分基于再进行回归,因此,参数估计是剔除变量所剩余的部分。一种特殊情形是,这时,正好是基于的回归系数。更为一般的结果可以由下述定理给出:定理3.1 正交分块回归 在变量基于两部分变量和进行多元线性回归时,如果这两个变量之间是正交的,则和的回归系数可以
11、通过单独进行基于的回归系数和基于的回归系数得到。证明:如果回归方程中的解释变量是正交的,则有。则有:,则和的回归系数可以通过单独进行基于的回归系数和基于的回归系数得到。获得系数的分块最小二乘估计的表达式(2.29)以后,将其代入到分块估计矩阵中,可以得到: (3.30)从中获得的估计式为: (3.31)注意到我们曾经讨论过的矩阵的性质,这是一种基于数据回归的“残差生成算子”,它作用到某个向量上所获得的便是这个向量基于数据回归的残差向量。因此,是一个由残差向量构成的残差矩阵,每个列向量是基于它数据回归的残差向量。注意到是幂等矩阵,则有: (3.32)其中,上述结论对于回归分析来说是一个基础结论,
12、也非常重要。可以进一步归纳成为下述定理:定理3.2 Frisch-Waugh Loeve Theorem 在向量基于两部分变量和的最小二乘回归中,系数最小二乘估计的部分估计可以通过基于变量的残差,再基于的每列基于变量回归的残差,进行回归的回归系数得到。这个过程一般被称为变量作用的“挤出”或者“分离”过程。出于这个原因,多元回归系数经常被称为偏回归系数(partial regression coefficients)。对于这个情形的一种特例,我们考虑向量基于一组变量和一个附加变量的最小二乘回归问题。这时最小二乘系数表示为和。这种情形下的结果可以由下述推论得到:推论(Corollary) 3.1
13、单独回归系数 在向量基于变量的多元最小二乘回归中,变量的系数可以按照下述公式计算: (3.33)这里和是和基于的最小二乘回归的残差向量。这个命题的一个直接应用是,可以考虑采用时间趋势脱离后的残差向量进行替代,以求出包含时间变量的多元回归系数。作为这些结论的一个应用,我们考虑矩阵的第一列全为1的包含常数项的情形。推论(Corollary) 3.2 具有常数项的回归 包含常数项的多元回归的斜率估计可以按照下述方式获得,首先将数据转换为与其均值的偏离,然后将(表示为与均值偏离的形式)基于解释变量(表示为与均值偏离的形式)进行回归。证明:根据定理2.2,这里。此时残差生成矩阵为:此时的作用就是将数据进
14、行样本均值为中心的中心化,因此命题成立。最后一个问题是,如果知道了系数,如何求解出系数?其中一个方法是改变变量和的作用,另外我们也可以直接从分块矩阵中求解。例如,如果,则可以得到常数项的估计为: (3.34)3.3 偏回归和偏相关系数(Partial regression and partial correlation coefficients)在多元回归使用中经常涉及到一个实践中难以进行的实验,就象经济学中的“其他假设不变”(ceteris paribus)。上述分析中我们假设一些变量的回归,然后利用这些变量的回归得到回归误差,这样的过程也涉及到“偏相关系数”的概念。在多元回归中,“偏相关系
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 高级 高档 计量 经济学
![提示](https://www.deliwenku.com/images/bang_tan.gif)
限制150内