计量经济学第5章多元线性回归模型教学内容.ppt

计量经济学第5章多元线性回归模型5.1多元线性回归模型的设定多元线性回归模型的设定多元线性回归模型的设定有其广阔的经济背景，在很多情多元线性回归模型的设定有其广阔的经济背景，在很多情况下我们都需要设定多元线性回归模型。况下我们都需要设定多元线性回归模型。【例例5-1】多元消费回归模型。消费不仅受到收入的影响，多元消费回归模型。消费不仅受到收入的影响，还会受到物价变动的影响，特别是在时间序列模型里。这还会受到物价变动的影响，特别是在时间序列模型里。这样我们可以设定一个二元线性回归模型：样我们可以设定一个二元线性回归模型：（5-1）其中其中 -消费消费 -收入收入 -物价物价【5-2】影响经济增长的因素很多，主要的有消费、影响经济增长的因素很多，主要的有消费、投资和净出口。以投资和净出口。以GDP作为一国经济状况的代表变作为一国经济状况的代表变量，则可以设定一个三元线性回归模型：量，则可以设定一个三元线性回归模型：（5-2）其中其中 -GDP -消费消费 -投资投资 -净出口净出口一般的，多元线性回归模型的基本形式为：一般的，多元线性回归模型的基本形式为：（5-3）其中其中 -模型的参数（模型的参数（j=0，1，2，k）-随机扰动项随机扰动项随机扰动项的设定与一元线性模型时一样的，它代随机扰动项的设定与一元线性模型时一样的，它代表了那些我们无法知道的因素、或者表了那些我们无法知道的因素、或者“周边变量周边变量”，它对被解释变量的影响是随机的，我们有足够的，它对被解释变量的影响是随机的，我们有足够的理由认为其均值为理由认为其均值为0。即：。即：（5-4）因此有：因此有：（5-5）我们将式（我们将式（5-3）称为总体多元线性回归模型，它）称为总体多元线性回归模型，它是真实的统计模型；式（是真实的统计模型；式（5-5）称为总体多元线性）称为总体多元线性回归方程，它是真实的回归回归方程，它是真实的回归“直线直线”。和一元线性回归模型一样，总体是不能完全观测的，和一元线性回归模型一样，总体是不能完全观测的，我们只能通过样本来对总体做推断。假如我们抽到我们只能通过样本来对总体做推断。假如我们抽到一个样本，对应的有一个样本，对应的有n 个观测值，这样就得到了样个观测值，这样就得到了样本的回归模型和样本回归方程：本的回归模型和样本回归方程：（5-6）其中其中 -参数的估计值（参数的估计值（j=0，1，2，k）-残差项残差项 （5-7）比较式（比较式（5-6）和式（）和式（5-7），容易得到：），容易得到：（5-8）在总体多元线性回归模型中，诸在总体多元线性回归模型中，诸 （j=0，1，2，k）称为偏回归系数，其意义是在其他解）称为偏回归系数，其意义是在其他解释变量不变的条件下，某一个释变量不变的条件下，某一个 变动对变动对 平均平均变动的影响。变动的影响。1.对模型和变量的假定对模型和变量的假定（1）在重复抽样中，诸）在重复抽样中，诸X的值是固定的。也就是的值是固定的。也就是说，我们认为，在一个回归过程中，诸说，我们认为，在一个回归过程中，诸X是确定性是确定性变量，而不是随机变量。变量，而不是随机变量。（2）模型的设定是正确的。也就是说，模型没有）模型的设定是正确的。也就是说，模型没有设定偏误，即无论是从变量的设定还是函数形式设定偏误，即无论是从变量的设定还是函数形式的设定，模型都是正确的。的设定，模型都是正确的。2.对随机扰动项的假定对随机扰动项的假定（1）零均值假定。即）零均值假定。即 的条件均值为的条件均值为0。为了方便，我们将的条件均值简记为为了方便，我们将的条件均值简记为 。（2）同方差假定。即）同方差假定。即 的条件方差相同。的条件方差相同。（3）无自相关假定。即）无自相关假定。即 对于不同的之间不存对于不同的之间不存在线性相关性。在线性相关性。（4）与诸）与诸X之间不存在线性相关。即之间不存在线性相关。即 与诸与诸X的的协方差为协方差为0。（5）正态性假定。即）正态性假定。即 服从正态分布。服从正态分布。（6）无多重共线性假定。）无多重共线性假定。这个假定的含义是在诸这个假定的含义是在诸X之间不存在线性相关性；之间不存在线性相关性；或者说在诸或者说在诸X中，不存在其中某一个中，不存在其中某一个X被其他的被其他的X线性表示。即存在不全为线性表示。即存在不全为0的的 使得正式成立：使得正式成立：（5-9）5.2多元线性回归模型的估计多元线性回归模型的估计多元线性回归模型的估计同样运用最小二乘法，与一多元线性回归模型的估计同样运用最小二乘法，与一元线性回归模型不同的是计算过程要复杂一些。下面元线性回归模型不同的是计算过程要复杂一些。下面以二元线性回归模型为例来说明多元线性回归模型估以二元线性回归模型为例来说明多元线性回归模型估计方法。计方法。设样本的二元线性回归模型为：设样本的二元线性回归模型为：（5-11）样本的二元线性回归方程为：样本的二元线性回归方程为：（5-12）则有：则有：（5-13）要使估计的误差为最小，则要满足要使估计的误差为最小，则要满足 ，即：，即：（5-14）上式能否取得最小值取决于诸上式能否取得最小值取决于诸 ，所以式（，所以式（5-14）是关于是关于 的三元函数，而这个三元函数取得最小值的的三元函数，而这个三元函数取得最小值的必要条件是其偏导数为必要条件是其偏导数为0，即：，即：（5-15）（5-16）（5-17）注意到注意到 ，上述三，上述三式也可以写为：式也可以写为：（5-18）（5-19）（5-20）将式（将式（5-15）、（）、（5-16）、（）、（5-17）整理得：）整理得：（5-21）（5-22）（5-23）式（式（5-21）、（）、（5-22）、（）、（5-23）称为正规方）称为正规方程，由其组成的方程组称为正规方程组。程，由其组成的方程组称为正规方程组。可从中解出诸可从中解出诸 ：（5-24）（5-25）（5-26）式中式中 -的平均值的平均值 -的离差的离差设多元线性回归模型如式（设多元线性回归模型如式（5-3），对应的方程为（），对应的方程为（5-5）。）。假设假设k个解释变量个解释变量X有有n次取值，于诸次取值，于诸X对应的对应的Y有一有一“簇簇”取值，这样得到这些变量的取值，这样得到这些变量的n组观测值，则有：组观测值，则有：（5-27）于是，这个方程组可以用矩阵表示为：于是，这个方程组可以用矩阵表示为：（5-28）其中其中 这样，总体多元线性回归模型和方程可以写成矩阵这样，总体多元线性回归模型和方程可以写成矩阵形式：形式：（5-29）（5-30）同样，我们将样本多元线性回归模型和方程可以写同样，我们将样本多元线性回归模型和方程可以写成矩阵形式：成矩阵形式：（5-31）（5-32）我们可以用矩阵来表达对随机扰动项的古典假定：我们可以用矩阵来表达对随机扰动项的古典假定：（）零均值假定（）零均值假定（）、（）同方差与无自相关假定（）、（）同方差与无自相关假定由于由于 ，故有：故有：（4）随机扰动项与解释变量不相关）随机扰动项与解释变量不相关（5）正态性假定）正态性假定（6）无多重共线性假定）无多重共线性假定 ，即矩阵，即矩阵X满秩。满秩。我们还可以用矩阵得到最小二乘法的估计结果。我们还可以用矩阵得到最小二乘法的估计结果。一般的，一般的，k元线性回归模型的偏导数可以表示为：元线性回归模型的偏导数可以表示为：（5-33）在样本回归方程两边同乘以在样本回归方程两边同乘以X的转置矩阵得到正规的转置矩阵得到正规方程组：方程组：（5-34）由于模型中无多重共线性，则矩阵由于模型中无多重共线性，则矩阵X满秩，故满秩，故 存存在，从式（在，从式（5-34）中可解出）中可解出 ：（5-35）用矩阵表示多元线性回归模型会使其表达式变得简用矩阵表示多元线性回归模型会使其表达式变得简洁，还可以引入矩阵的运算使计算过程简化。但一洁，还可以引入矩阵的运算使计算过程简化。但一般情况下，我们是用矩阵来表示或推导一些性质，般情况下，我们是用矩阵来表示或推导一些性质，最小二乘法的估计结果用最小二乘法的估计结果用Eviews得到。得到。【例例5-3】居民的消费支出除了受到收入的影响外，居民的消费支出除了受到收入的影响外，还会受到物价的影响。以全国城镇居民还会受到物价的影响。以全国城镇居民1990-2009年的消费绝对数、职工平均工资、定基价格年的消费绝对数、职工平均工资、定基价格指数为变量设定二元线性回归模型（数据见例指数为变量设定二元线性回归模型（数据见例5-3，数据来源：中国统计年鉴，数据来源：中国统计年鉴2010）,运用运用Eviews对模型进行估计。对模型进行估计。解：打开解：打开Eviews录入数据，并对变量命名：其中录入数据，并对变量命名：其中Y居民消费水平居民消费水平X1职工平均工资职工平均工资X2定基价格指数定基价格指数 在命令栏中输入命令：在命令栏中输入命令：ls y c x1 x2回车后即得回车后即得到估计的结果：到估计的结果：估计的回归方程为：估计的回归方程为：这个回归结果说明，在价格指数保持不变的条件下，这个回归结果说明，在价格指数保持不变的条件下，平均工资增加平均工资增加1元，消费水平增加约元，消费水平增加约0.29元；在平元；在平均工资不变的条件下，价格指数每增加一个百分点，均工资不变的条件下，价格指数每增加一个百分点，消费水平会增加约消费水平会增加约12.83元。元。由这个结果可以得到，价格指数对消费的影响程度由这个结果可以得到，价格指数对消费的影响程度是较高的。是较高的。5.3多元线性模型最小二乘估计量的性质多元线性模型最小二乘估计量的性质与一元线性与一元线性OLS回归一样，多元线性回归一样，多元线性OLS回归也回归也具有相同的性质。具有相同的性质。1.多元线性回归多元线性回归OLS回归直线的代数性质回归直线的代数性质我们运用最小二乘法得到了多元线性回归模型的我们运用最小二乘法得到了多元线性回归模型的样本方程，由这个方程决定的直线具有与一元线样本方程，由这个方程决定的直线具有与一元线性回归直线相同的性质，下面我们以二元线性回性回归直线相同的性质，下面我们以二元线性回归直线进行说明：归直线进行说明：（1）各变量的均值在回归直线上）各变量的均值在回归直线上由式（由式（5-24）即得：）即得：(2)Y估计值的均值等于估计值的均值等于Y的实际值的均值的实际值的均值即：即：（3）残差的均值为）残差的均值为0即即:（4）残差与解释变量不相关）残差与解释变量不相关 即即:、（5）残差与）残差与Y的估计值不相关的估计值不相关即：即：。这些结果很容易推广到一般的多元线性这些结果很容易推广到一般的多元线性OLS回归直回归直线的情形。线的情形。利用这些结果，我们可以得到多元线性回归模型利用这些结果，我们可以得到多元线性回归模型和方程的离差形式。和方程的离差形式。（5-36）（5-37）（5-38）式中式中 -的离差（的离差（j=1，2，k）.多元线性回归方程拟合优度的度量多元线性回归方程拟合优度的度量与一元线性回归一样，我们可以得到其总变差的分与一元线性回归一样，我们可以得到其总变差的分解结果：解结果：TSSESS+RSS （5-39）式中式中 ，我们定义为多元线性回归方程的可决系数，其含义我们定义为多元线性回归方程的可决系数，其含义是由回归方程（诸是由回归方程（诸X）对）对Y所做出解释的程度。显然，所做出解释的程度。显然，的值越接近的值越接近1，表明回归方程解释的程度越高。，表明回归方程解释的程度越高。但是，在多元的情况下，可决系数但是，在多元的情况下，可决系数 的取值会随着解释的取值会随着解释变量变量X个数的增加而增加，如果我们在模型中加入无关的个数的增加而增加，如果我们在模型中加入无关的解释变量就会增加解释变量就会增加 的值，这样就不能很好的说明拟合的的值，这样就不能很好的说明拟合的程度了。程度了。上式中的分母项总大于上式中的分母项总大于0，一般情况下分子项则，一般情况下分子项则会随着项数的增加而增加。会随着项数的增加而增加。由于多元线性回归方程的可决系数有这样的性质，由于多元线性回归方程的可决系数有这样的性质，所以其不能非常好的描述拟合的程度。这样，我们所以其不能非常好的描述拟合的程度。这样，我们就需要对其进行必要的调整，方法是剔除多个解释就需要对其进行必要的调整，方法是剔除多个解释变量对可决系数的影响，在其计算式中除以各自的变量对可决系数的影响，在其计算式中除以各自的自由度。自由度。调整后的可决系数记为调整后的可决系数记为 。（5-41）在多元的条件下，我们一般会用调整后的可决系数在多元的条件下，我们一般会用调整后的可决系数判断拟合的程度。判断拟合的程度。3.多元线性回归多元线性回归OLS估计量的统计性质估计量的统计性质一元线性回归一元线性回归OLS估计量有一个非常重要的统计估计量有一个非常重要的统计性质，即：在满足古典假定的条件下，性质，即：在满足古典假定的条件下，OLS估计估计量是最佳线性无偏估计量（量是最佳线性无偏估计量（BLUE），这个结论被），这个结论被称之为高斯称之为高斯-马尔可夫定理。与一元线性回归马尔可夫定理。与一元线性回归OLS一样，多元线性回归一样，多元线性回归OLS估计量也有这样的结论。估计量也有这样的结论。（1）线性性）线性性（2）无偏性）无偏性（3）最小方差性）最小方差性 我们可以得到我们可以得到OLS估计量的协方差矩阵，而其对角估计量的协方差矩阵，而其对角线上对应元素就是方差：线上对应元素就是方差：（5-42）具体的每个估计量的方差为：具体的每个估计量的方差为：（5-43）式中式中 是矩阵是矩阵 中第中第j行第行第j列位置上的元素。列位置上的元素。以二元线性回归模型（以二元线性回归模型（5-11）为例，其估计量的）为例，其估计量的方差为：方差为：（5-44）（5-45）（5-46）由于是总体随机扰动项的方差，一般是未知的，由于是总体随机扰动项的方差，一般是未知的，故可以用样本方差来估计：故可以用样本方差来估计：（5-47）n-k-1称之为自由度，在二元线性回归模型中，称之为自由度，在二元线性回归模型中，由于由于k=2，所以自由度为，所以自由度为n-3。将将 代入到（代入到（5-44）、（）、（5-45）、（）、（5-46）中，可得到对应方差的估计值，从而可以得到标中，可得到对应方差的估计值，从而可以得到标准差的估计值：准差的估计值：、。4.多元线性回归多元线性回归OLS估计量的抽样分布估计量的抽样分布由高斯由高斯-马尔可夫定理可知，多元线性回归马尔可夫定理可知，多元线性回归OLS估估计量在满足古典假定的条件下，计量在满足古典假定的条件下，OLS估计量是最佳估计量是最佳线性无偏估计量。据此我们可以得到其抽样分布：线性无偏估计量。据此我们可以得到其抽样分布：（5-48）5.参数的检验与区间估计参数的检验与区间估计1.经济意义检验经济意义检验经济意义检验就是要检验各项系数的符号是否与经经济意义检验就是要检验各项系数的符号是否与经济理论或者预期相同。济理论或者预期相同。2.参数的检验参数的检验（1）模型设定整体的显著性检验（）模型设定整体的显著性检验（F检验）检验）构造检验统计量：构造检验统计量：（5-49）给定显著性水平，如果给定显著性水平，如果F检验统计量的值检验统计量的值 则我们就有理由拒绝原假设，说明模型设定整体上则我们就有理由拒绝原假设，说明模型设定整体上是显著的；否则不能拒绝原假设，说明模型设定在是显著的；否则不能拒绝原假设，说明模型设定在整体上是不显著的。整体上是不显著的。F检验检验也可以采用检验检验也可以采用p值方法，在值方法，在Eviews中我们中我们可以得到可以得到F检验统计量的值和其对应的伴随概率检验统计量的值和其对应的伴随概率（即（即p值），可以简便的做值），可以简便的做F检验。检验。（2）模型设定变量的显著性检验（）模型设定变量的显著性检验（t检验）检验）对于这样的假设检验，与一元线性回归模型显著性对于这样的假设检验，与一元线性回归模型显著性检验一样采用检验一样采用t检验，但是自由度为检验，但是自由度为n-k-1。(5-50)给定显著性水平给定显著性水平 ，如果，如果t检验统计量的绝对值检验统计量的绝对值 ，则我们有理由拒绝原假设，说明，则我们有理由拒绝原假设，说明 不为不为0，对应的，对应的 显著的对对显著的对对Y做出了解释；反之，则说明做出了解释；反之，则说明 没没有显著的对有显著的对Y做出了解释。做出了解释。t检验也可以采用检验也可以采用p值方法，在值方法，在Eviews中我们可以中我们可以得到得到t检验统计量的值和其对应的伴随概率（即检验统计量的值和其对应的伴随概率（即p值）值），可以简便的做，可以简便的做t检验。检验。3.偏回归系数的区间估计偏回归系数的区间估计偏回归系数的区间估计与一元线性回归模型的区间偏回归系数的区间估计与一元线性回归模型的区间估计是相同的，基本的估计方法是：估计是相同的，基本的估计方法是：的的 的置信区间为：的置信区间为：（5-51）（j=1，2，k）满足：满足：5.多元线性回归模型的预测多元线性回归模型的预测 1.点预测点预测 设多元线性回归模型为设多元线性回归模型为 ，其样本回归方程，其样本回归方程为为给定样本以外的各个解释变量的取值：给定样本以外的各个解释变量的取值：代入到样本回归方程得：代入到样本回归方程得：（5-52）容易证明，这个点预测是对总体平均值容易证明，这个点预测是对总体平均值 的无的无偏估计，即偏估计，即 。2.总体平均值的区间预测总体平均值的区间预测 可以证明可以证明:（5-53）（5-54）（5-55）3.个别值个别值 的区间预测的区间预测 考虑考虑 ，则有，则有 ；可以证明，个；可以证明，个别值的方差别值的方差 。构造构造t统计量：统计量：（5-56）设显著性水平为设显著性水平为 ，则置信水平为，则置信水平为 。于是。于是个别值个别值 的的 置信区间为：置信区间为：（5-57）5.案例分析案例分析【例例5-4】投资、消费、净出口是影响经济发展的基投资、消费、净出口是影响经济发展的基本因素。为了测算三种基本因素对经济发展的影响，本因素。为了测算三种基本因素对经济发展的影响，选取湖北省选取湖北省GDP、固定资产投资、居民消费、净出、固定资产投资、居民消费、净出口的数据（数据见例口的数据（数据见例5-4，数据来源：湖北省统计年，数据来源：湖北省统计年鉴鉴2011），建立多元线性回归模型，测试影响的程），建立多元线性回归模型，测试影响的程度。度。解：设解：设YGDP，X1固定资产投资，固定资产投资，X2居民居民消费水平，消费水平，X3净出口。多元线性回归估计结果如净出口。多元线性回归估计结果如下：下：估计结果的报告：估计结果的报告：Se=（93.91329）（0.046660）（0.071284）（0.000669）t=（-3.025527）（13.45758）（24.48875）（2.122024）p=（0.0070）（0.0000）（0.0000）（0.0472），df=19F=7314.848，p=0.000000 对模型进行检验。对模型进行检验。1.经济意义检验。由于估计结果的偏回归系数都大经济意义检验。由于估计结果的偏回归系数都大于于0，符合经济学理论。，符合经济学理论。2.F检验。设显著性水平为检验。设显著性水平为0.05，由于，由于F检验统计检验统计量的伴随概率量的伴随概率p=0.0000000.05，说明模型整，说明模型整体而言是显著的。体而言是显著的。3.t检验。由于所有系数对应检验。由于所有系数对应t统计量的统计量的p值都小于值都小于0.05，故总体模型的系数都显著的不为，故总体模型的系数都显著的不为0，t检验检验是显著的。是显著的。4.拟合优度检验。由于拟合优度检验。由于 ，说明拟合程度，说明拟合程度非常高。非常高。对偏回归系数做区间估计。置信水平为对偏回归系数做区间估计。置信水平为95%的置的置信区间为：信区间为：置信水平为置信水平为95%的置信区间为：的置信区间为：（0.530269，0.725587）置信水平为置信水平为95%的置信区间为：的置信区间为：（1.596463，1.894857）置信水平为置信水平为95%的置信区间为：的置信区间为：（1.98E-05，0.00282）其中其中1.98E-05为科学记数法，其值为为科学记数法，其值为 。由估计的结果来看，居民消费对由估计的结果来看，居民消费对GDP的影响最大，的影响最大，其次是固定资产投资，影响最小的是净出口。当其其次是固定资产投资，影响最小的是净出口。当其他变量保持不变时，居民消费增加他变量保持不变时，居民消费增加1亿元，亿元，GDP会会增加约增加约1.75亿元；当其他变量保持不变时，固定资亿元；当其他变量保持不变时，固定资产投资增加产投资增加1亿元，亿元，GDP会增加约会增加约0.63亿元；当其亿元；当其他变量保持不变时，净出口增加一万美元，他变量保持不变时，净出口增加一万美元，GDP会会增加约增加约0.0014亿元。亿元。利用估计结果进行预测。当固定资产投资达到利用估计结果进行预测。当固定资产投资达到15000亿元、居民消费水平达到亿元、居民消费水平达到6000亿元、净出亿元、净出口达到口达到350000万美元时，万美元时，GDP的点预测值为的点预测值为20166.25亿元。亿元。通过以上分析，我们可以得到如下结论：居民消费通过以上分析，我们可以得到如下结论：居民消费是经济增长的主要影响因素，为了保持经济增长，是经济增长的主要影响因素，为了保持经济增长，应采取稳步提高居民收入水平，扩大内需等政策拉应采取稳步提高居民收入水平，扩大内需等政策拉动经济增长；固定资产投资是对经济增长起着重要动经济增长；固定资产投资是对经济增长起着重要作用的变量，也是政府能够控制的变量，在城镇化作用的变量，也是政府能够控制的变量，在城镇化进程中对经济增长的作用将是持续的。进程中对经济增长的作用将是持续的。【本章小结本章小结】由于经济现象的复杂性，在很多时候我们要建立多由于经济现象的复杂性，在很多时候我们要建立多元线性回归模型。与一元线性回归模型一样，我们元线性回归模型。与一元线性回归模型一样，我们可以用最小二乘法对模型进行估计，估计量具有与可以用最小二乘法对模型进行估计，估计量具有与一元线性回归模型一样的代数性质，在满足古典假一元线性回归模型一样的代数性质，在满足古典假定的也能得到定的也能得到OLS估计量的统计性质：高斯估计量的统计性质：高斯-马尔马尔可夫定理。可夫定理。F检验是对多元线性回归模型进行整体检验是对多元线性回归模型进行整体设定的检验，设定的检验，t检验是对个别变量的显著性检验；检验是对个别变量的显著性检验；参数的区间估计方法与一元线性回归模型基本相同。参数的区间估计方法与一元线性回归模型基本相同。此课件下载可自行编辑修改，仅供参考！此课件下载可自行编辑修改，仅供参考！感谢您的支持，我们努力做得更好！谢谢感谢您的支持，我们努力做得更好！谢谢