海归讲授博士高级计量经济学.doc

【精品文档】如有侵权，请联系网站删除，仅供学习与交流海归讲授博士高级计量经济学.精品文档.2009级博士高级计量经济学学习指南第一部分 条件期望与条件方差第二部分 古典假设与最小二乘第三部分 最小二乘的有限样本第四部分 最小二乘的大样本性质第五部分 非球型扰动与广义回归模型第六部分 异方差与自相关第七部分 工具变量和两阶段最小二乘第八部分 广义矩估计第九部分 极大似然估计第十部分 检验与推断（Wald检验、LM检验和LR检验）第十一部分 模型的设定和检验（第十二部分 上机操作）第一部分 条件期望与条件方差在正式进入计量经济学的学习之前，需要对条件期望以及条件方差熟练掌握，它们将在以后的学习中经常遇到。一、条件期望1、条件均值的定义条件均值的定义为：应当指出的是，条件期望是谁的函数。 2、条件均值的性质条件均值有几个简单而有用的性质：（1）迭代期望律 ( Law of Iterated expectations, LIE)条件期望的条件期望等于无条件期望。，其中，记号表示关于 x值的期望。Interpretation: the expectation of Y can be calculated by first conditioning on X, finding E(Y |X) and then averaging this quantity with over X.Proof:离散情形：We need to show: Where .We haveContinuous Case:，and Q.E.D.迭代期望律的一般表述方式其中，是的子集，为非随机函数。语义：若已知的结论，我们也就知道的结论。记： 则：Proof 需要较多的测度论的知识，这里只是加以说明证明的思路。 中，的信息多于。因此，当时，运用的信息，也可描述。例如，和分别为天平的砝码，为1克的集合，为5克的集合，因此，有。当我们用的信息描述时，也可以用的信息加以描述。 特例： 另外，也成立。（2）（3） （4）更为一般的情形：设，为的标量函数，为随机变量，那么：（5），表示时刻的信息集。（6）对于任何二元变量的分布，证明：从这个公式中，我们需要理解线性回归中的两个古典假设：由此，零均值假定（在给定的条件下，的条件均值为零）（强外生），与随机扰动项与解释变量不相关的假定（弱外生），这将在以后的学习中经常提及。（7）若定义，在假设和条件下，有。其中，为任意函数。特殊情形，。证明：又 3、条件方差的定义条件方差的定义为：它的简化公式为：可认为是：分组条件下的集中程度的度量，或者，分组条件下的差异程度的度量。同理，条件期望为总体分组条件下的分门别类地求期望（学校教师的平均年龄=各院系教师平均年龄的平均）。（1） 证明：（作业？）（2）一个重要的方差分解定理：在一个联合分布中有， 它表示，在一个二元分布中，y的方差可分解为条件均值函数的方差加上条件方差的期望。将此式变形即可得到：它表示从平均意义上看，在条件约束下，条件化减少了变量的方差。我们有清楚的结论：y的条件方差不大于y的无条件方差。证明（3）证明：利用性质：，则：小结： 1、方差分解定理可以表述为： 它表示，在一个二元分布中，y的方差可分解为条件均值函数的方差加上条件方差的期望。在方差分解定理的公式中，是的方差，也就是回归式中的总离差平方和TSS。条件均值的方差是回归式中的回归平方和ESS；条件方差的期望是回归的残差平方和RSS。 （注意总体与样本的区别）2、依据方差分解定理，可以构造R2统计量：3、对方差分解定理进行简单的扩展，得到如下的表达式：两边取期望，由迭代期望定理得到：由于回归方程的总离差平方和TSS是不变的，因此，上式说明，在回归式中增加新的变量会使得可决系数增大。第二部分 古典假设与最小二乘一、背景本部分开始我们正式进入计量经济学的学习。在计量经济学中，我们考察经济变量之间的相互关系，最基本的方法是回归分析。回归分析是计量经济学的主要工具，也是计量经济学理论和方法的主要内容。本部分从多元回归模型入手，对古典假设进行复习，然后就最小二乘估计法的算法、双残差回归和模型拟合优度的一些问题进行探讨。二、知识要点1、回归模型2、古典假设3、最小二乘法4、双残差回归5、方差分解和拟合优度参考章节：Chapter2，Chapter 3三、要点细纲1、回归模型一般的，我们可以将回归模型写为条件期望和条件异方差的和，即：。对于的讨论构成条件异方差自回归模型，我们这里仅考虑当条件方差为常数1时的情形，即：。当取不同的形式时，也就构成了不同的模型，包括：线性、非线性和非参数等。我们这里主要讨论的是线性模型(一元或多元)：，则总体回归方程可表示为：。其中：表示样本数量，表示解释变量个数（包含了常数项），当时就是一元线性回归模型。而表示的是随机扰动项，包含了除了解释变量以外的其他影响因素。若遗漏变量，则这个变量也将被扰动项所包含。这里有个回归和投影的概念，简单的说回归是相对总体而言，而投影是相对样本而言，线性投影总是存在的，而且是唯一的。2、古典假设在初级计量经济学中，我们可以看到对于回归模型的假设条件包括：（1）零均值，即；（2）同方差与无自相关假定，即随机扰动项的方差；（3）随机扰动项与解释变量不相关，即；（4）无多重共线性，即各解释变量之间线性无关，；（5）正态性假定，即。在格林（W. Greene）教材上将以上假设条件总结为：线性；满秩；解释变量的外生性；球形扰动；数据生成过程的外生性；正态性。比较这些假定可以发现，原来初等计量上的（1）和（3）假定没有了，新的假定是解释变量的外生性和数据生成过程的外生性。由之前条件期望的部分，我们已经看到初级计量中的（1）和（3）假设是重复的，它们都是属于外生性条件。格林教材上的假设也就把它们合二为一了。学习中需要理解和掌握格林教材中的这些假设条件。对于线性假定，两个层面，一是指参数线性，而不是解释变量的线性。这里，某些非参数线性的模型，可以通过对解释变量和被解释变量进行一定的线性变形，可以转换为参数线性模型，比如对数线性模型、半对数线性模型、超对数线性模型等；另一是指有利于推导参数估计量的统计分布以及进行推断分析。第二，满秩性条件，它是为了保证条件期望的唯一性，参数可求解，同时，此项假设在本课程的学习过程，将会在多处（特别是在某些推导过程中）涉及。第三，外生性条件，表示随机扰动项中不包含有解释变量的任何信息。注意，外生性条件的不同表述方式和内涵。外生性条件的违反将影响到参数估计的一致性问题。第四，球形扰动，是指随机扰动项的方差-协方差矩阵为同方差和无自相关同时成立时的情况。违反此假设条件，被称为非球形扰动，将会影响到参数估计的有效性问题。第五，数据生成过程的外生性条件指变量数据的生成过程是独立的，不受其他变量和扰动项的影响。第六，正态性条件，它主要与我们的统计检验和推断有关，但在大样本的条件下，根据中心极限定理这个条件是可以放宽的。在后期的学习过程中，将逐渐放宽这些假设条件，从而对于这些假定的进行深入理解。3、最小二乘法以估计的残差平方和最小的原则确定样本回归函数，称为最小二乘准则。在古典假定下的最小二乘法，也称为普通最小二乘估计（简记为OLS）。对于多元回归模型， 我们的目标是使得回归的残差平方和达到最小，即：则它的一阶条件为：化简得：以上是属于初中级计量中的做法。而在本课程的学习中，我们需要从矩条件对最小二乘进行理解。关于矩将在后面部分中详细提到，这里只是应用该知识点。由外生性条件可得：从而： 用样本矩替代总体矩，则可以得到：。所以有：。1、注意的意义。 若记为参数估计量的方差-协方差矩阵的估计，则有（1）（2）（3）为对称阵，对角线元素是的方差，非对角线元素为相应的协方差；2、应用。可以在多个场合应用。例如，检验某些回归系数是否满足某些约束，如。注意，这种情形是否可以采用Wald检验统计量？通常情形采用t-检验统计量进行检验。其中：分别为中相应位置上的元素。当t-值大于2，拒绝，否则，接受。4、最小二乘估计的一些性质代数性质（1）残差平方和等于0，即；（2）回归线经过均值点，即；（3）回归的预测值的平均值等于实际值的均值，即。但注意这些代数性质只有在回归方程中包含了常数项下才成立。投影及投影定理矩阵的定义与作用；矩阵的定义与作用；两者的区别与联系定理3.1-3.3以及推论3.3.1-3.3.2的理解与把握。5、双残差回归对于双残差回归，首先考察它的由来，然后进一步讨论由它引申出的一些性质。（1）残差的定义由，可以得到：其中，它是一个对称幂等矩阵，存在的性质。因此表示了对回归得到的残差。（2）双残差回归 我们记： 两边同时左乘和，并用矩阵表示可以得到： 利用分块矩阵求逆的公式可以得到：再带回到方程中，并整理可以得到：其中：，对上式进行理解：表示了对回归得到的残差， 表示了对回归得到的残差，即：。它表示的是残差对残差回归的参数估计。进一步理解：残差中扣除了中包含的的信息；残差扣除了中包含的的信息。因此双残差（、）回归仅反应了，在扣除了的影响，对的作用情况，同样说明了系数表示的是变量与的偏相关。同样，的表示与一样，它们是一种对称的关系。（3）经济解释与实际应用双残差回归得到的偏回归系数与统计中的偏相关系数是密切联系的，但不是严格意义上的偏相关系数。所谓偏相关系数，就是扣除了中间变量影响后的相关系数。它与简单相关系数的一个主要区别在于，通常情况下，简单相关系数不仅包含了两个变量之间的直接相关关系，还包括了变量间的间接相关关系（通过中间变量的相关性传导）。一种极端的情况是：变量间的相关关系完全是由间接相关关系引起的。如果是这样，那么在控制了中间变量的影响之后，两个关注变量之间就表现为不相关。又或者说，两个变量之间的简单相关关系是一种负相关的关系，但是在控制了中间变量影响后就可能表现为正相关。举例来说，假设回归方程为，要计算与Z之间的偏相关系数，具体的计算步骤如下：（1）对X进行回归，得到回归残差（）（2）对X进行回归，得到残差（3）与Z之间的偏相关系数就是与之间的简单相关系数。可以简单的写成平方形式为： （残差的均值为零，上下N消去，可证明）在计量经济学中有关注变量和控制变量的说法，就是对应了以上的原理。不妨假设在一个典型的线性回归方程中，变量集是我们的关注变量集，相应的就是我们的控制变量集。估计系数表示的就是在控制了变量集后，对的影响。也就是通常说的，在其他变量保持不变的情况下，的变化引起的的变化。很显然，在不同的情况下，我们可以改变我们的控制变量集，来看我们的关注变量系数是否发生显著的变化，这在实证中是很重要步骤和思想。控制变量的t值大小可以不必过于在意。小结：双残差回归思想的理解和具体步骤其中：，假设现在要求的是系数（1）对进行回归，得到回归的残差记为。（2）对进行回归，得到回归的残差记为（3）对回归，得到的参数估计就是的估计值。残差中扣除了中包含的的信息；残差扣除了中包含的的信息。因此双残差（、）回归仅反应了，在扣除了的影响，对的作用情况，同样说明了系数表示的是变量与的偏相关。同样，的表示与一样，它们是一种对称的关系。双残差回归得到的偏回归系数与统计中的偏相关系数是密切联系的，但不是严格意义上的偏相关系数。所谓偏相关系数，就是扣除了中间变量影响后的相关系数。它与简单相关系数的一个主要区别在于，通常情况下，简单相关系数不仅包含了两个变量之间的直接相关关系，额包括了变量间的间接相关关系（通过中间变量的相关性传导）。一种极端的情况是：变量间的相关关系完全是由间接相关关系引起的。如果是这样，那么在控制了中间变量的影响之后，两个关注变量之间就表现为不相关。又或者说，两个变量之间的简单相关关系是一种负相关的关系，但是在控制了中间变量影响后就可能表现为正相关。在计量经济学中有关注变量和控制变量的说法，就是对应了以上的原理。不妨假设在一个典型的线性回归方程中，变量集是我们的关注变量集，相应的就是我们的控制变量集。估计系数表示的就是在控制了变量集后，对的影响。也就是通常说的，在其他变量保持不变的情况下，的变化引起的的变化。很显然，在不同的情况下，我们可以改变我们的控制变量集，来看我们的关注变量系数是否发生显著的变化，这在实证中是很重要步骤和思想。控制变量的t值大小可以不必过于在意。6、方差分解和拟合优度（1）方差分解在初等计量中：考虑一个线性回归方程式：方程两边同取平均值，为两式相减得到： （二倍交叉项为零）也就是：，即: 总离差平方和残差平方和回归平方和。于是可以得到可决系数，它可以用来判别模型的拟合优度。在格林教材中，对于可决系数的计算是用矩阵来表达的。记单位向量，令矩阵，可以证明也是一个对称幂等矩阵。对任意的列向量，有如下结论成立：（a） （b）则定义可决系数。而由前面条件期望部分的方差分解定理：它同样表示了：总离差平方和回归平方和 + 残差平方和因此有：扩展方差分解定理，得到：两边取期望，由迭代期望定理得到：结合式，上式说明在回归式中增加新的变量会使得可决系数增大。（2）两个重要的定理定理：记是对回归的残差平方和，而是对和回归的残差平方和。那么有。其中：c是对和的回归中的参数估计，。这个定理说明的是在一个线性回归模型中增加新的解释变量，总是可以使模型的残差平方和减小，或者至少不增大。由于总离差平方和TSS是不变的，上述结论意味这可决系数的增大。于是得到书上的定理。定理：记是对和回归的可决系数，而是只对回归的可决系数，表示在控制了之后，与的偏相系数。则有：。由该定理也说明了，增加新的解释变量会使得可决系数增大。小结：方差分解定理可以表述为：它表示，在一个二元分布中，y的方差可分解为条件均值函数的方差加上条件均值的期望方差。（1）在方差分解定理的公式中，是的方差，也就是回归式中的总离差平方和TSS。条件均值的方差是回归式中的回归平方和ESS；条件方差的期望是回归的残差平方和RSS。由此，可以构造R2统计量为：（2）对方差分解定理进行简单的扩展，得到如下的表达式：两边取期望，由迭代期望定理得到：由于回归方程的总离差平方和TSS是不变的，因此，上式说明，在回归式中增加新的变量会使得可决系数增大。四、思考题1、阐述双残差回归的步骤和其中体现的统计思想。2、证明在线性回归中增加新的解释变量会使得可决系数增大。即上述定理3、定义，是中的部分解释变量。证明：第三部分 最小二乘（OLS）的有限样本性质一、背景OLS是最基本也是最常用的一个回归估计方法，其思想十分简单，就是使回归的残差平方和达到最小。需要注意的是，应用OLS离不开相应的假设条件，也就是所谓的古典假设。在这些假设条件下，OLS估计具有一系列优良的性质。这个部分主要阐述对古典假设条件和理解并讨论在该条件下OLS所具有的优良性质。二、知识要点1、对古典假设的理解2、自变量的随机和非随机问题3、OLS在古典假设下的无偏性和有效性参考章节Chapter4.14.6、Chapter4.8三、要点细纲1、对古典假设的理解最小二乘有限样本性质的推导是在古典假设下得到的，因此需要注意的是，一旦古典假设不能得到满足，OLS的一系列有限样本的优良性质就不在具备了。计量经济学中的假设很多，从现实角度出发，假设条件应该是越弱要好的。这意味着模型的假设条件在现实中越容易得到满足，但是古典假设是一个很强的假设，虽然有其合理性，但是某些假设需要被放宽或者舍弃。在Greene书中P10的六点假设中，与有限样本性质最密切相关，也是最强的两个假设条件是：A3：自变量的强外生性假定，即A6：随机扰动项服从正态分布，即其中，强外生性条件不仅意味这与X是不相关的，即，也意味着与X的任何函数形式是不相关的。（参见条件期望定理：若，那么对于任意X的函数，有）证明：其次，随机扰动项服从正态分布也是一个过强的，不够实际的假设条件，但是改假设是有限样本性质的核心内容，是进行构造统计量进行假设检验和统计推断的基础。当然，在随机扰动项不服从正态分布的情况下，必须利用渐进理论讨论估计量的大样本性质。这是书中第五章的内容。2、自变量X的随机与非随机问题的讨论一个一般性的回归式为：其中 是一个维的向量，的函数形式可以是线性的，也可以是非线性的。在初等计量的课程中，我们通常把X看作是非随机的变量，也就是说，向量X在回归中是被作为常数处理的，不具备随机变量的性质。扰动项是唯一的随机变量，由于的存在，使得Y成为一个随机数。所有的分析都是在以上的假定下展开的，初看来，这样的假定使得对问题的分析变得相对简单化；但是，仔细推敲，就可以发现这样的设定是不科学的，无论是解释变量X还是被解释变量Y都没有可能是一个非随机的常量，这样的假定与随机抽样的假定是相违背的。一个简单的例子是，在截面数据中，在随机抽样的前提下，每个样本是按照一定的随机原则被抽中的，当这个样本被抽中时，用来描述样本特质（或者说是样本的某个属性）的X和Y也就被选定了。也就是说，属性X和Y也是从其自身的分布总体中抽出的样本，其本身也是一个随机变量。在时间序列数据中，由于时间序列只是样本的一次实现，没有实施随机抽样的可能，因此很容易被认为是非随机的。但是，由于隐藏在时间序列数据背后的数据生成过程（DGP）是未知的，所有的时间序列数据都是这个未知总体的一个样本实现，因此，时间序列数据也必定是一个随机序列，而不是一个确定的常量。对于X是否随机问题争论不影响OLS估计的性质，其原因在于我们总是在条件期望的背景下讨论问题，而在X给定的情况下，X就可以被认为是非随机的。下面结合OLS的有限样本性质对X的随机和非随机进行比较分析，这部分内容需要认真学习、理解、掌握。3、OLS的有限样本性质以下讨论都基于回归式（1）无偏性、若看X为非随机，则直接取无条件期望，有：、若看X为随机，则取条件期望得到：（2）有效性、若看X为非随机，则直接取方差得到：、若看X为非随机，则取条件方差得到：此时根据方差分解定理得到无条件方差为：有效性的证明：假设有另一个关于y的无偏估计，C是一个的矩阵，对应于，也是一个的矩阵。是的无偏估计，因此有：必有成立，且令，进一步可以得到：又因为：需要说明的一点是，在计量经济学中，多于估计量的性质，关注的最多的就是无偏性和一致性，而有效性的地位要略低下。因为计量经济学总是在寻求无偏估计的基础上不断的放宽假设条件，然后在新的条件下，在保证无偏性或是一致性的前途下改进估计量的有效性。（3）最小均方误差预测这是在不知道估计量是否无偏的情况下，根据均方误差最小原则进行的求解，得到一个最优估计的过程。其本质上就是最小二乘的估计原理。可以证明在该原则下求出的参数估计量表达式就是OLS表达式。需要注意的是，有效性的证明是在无偏性的前提下进行的。也就是说，有效性比较的是两个无偏估计量的方差大小，如果是有偏的估计量，那么就需要在偏离程度和方差大小两者之间做出权衡。，这最就是小均方误差原则体现的思想。（4）方差的无偏估计是对随机扰动项的方差进行的估计。要求估计量必须是无偏的。实际上就是对自由度进行了调整。在证明中需要用到有关矩阵的迹（trace）的性质，列举如下：迹就是矩阵主对角线的元素之和，矩阵A的迹用符号来表示。一个标量（数）的迹就是它本身。证明：上式两边同取X的条件期望，得到：由于是一个标量，因此它的迹等于它本身，方程两边同取迹，并交换和期望算子的位置，得到：M是关于X的矩阵，因此由条件期望的性质可以提出，进一步得到：因此，有：所以的无偏估计是小结：（1）在古典假设条件下，的估计量具有最小方差。（2）在古典假设不成立的情况下，的有效性会受到什么样的影响。在这种情况下，如何得到的有效估计。（1）此时根据方差分解定理得到无条件方差为：有效性的证明：假设有另一个关于y的无偏估计，C是一个的矩阵，对应于，也是一个的矩阵。是的无偏估计，因此有：必有成立，且令，进一步可以得到：又因为：（2）当古典假定不成立时，特别是存在非球形扰动时，将影响到参数估计量的有效性，它将不再满足最小方差性。当存在这种情况时，可以利用GLS得到的有效估计。具体做法为：GLS的思想就是通过对总体方差协方差矩阵的分解，将回归的残差转变成满足古典假定的残差，然后使用OLS估计。由于W是一个正定的对称矩阵，由矩阵代数的知识，我们知道W可以写成如下形式：其中C的每一列是W的特征向量，是W的特征根组成的对角矩阵。令，则有，在古典回归方程两边同乘P，得到：或者写成：可以看出，显然满足古典假定，因此可以用OLS对该式进行估计。得到如下结果：由此得到的将是有效的。实际问题中，我们需要对W进行估计，只要满足条件，也就是说，只要是的一致估计，那么所得到的参数估计也将是一致的。对矩阵的一个合理的一致估计是：。其中对普通最小二乘估计的残差。四、思考题1、关于参数有两个相互独立的无偏估计量,，它们的方差分别为，。问：当，为何值时，线性组合是关于参数的最小方差无偏估计？解：根据已知条件有：，是无偏的，则有：所以：因为、相互独立，所以代入，可得：具有最小方差性，得到：，。2、证明在古典假定下，利用OLS对线性回归方程估计得到的结果，是回归参数的最小方差无偏估计。3、对于自变量X是随机或非随机的争论，你有什么看法，在X随机和非随机这两个不同的假设条件下，参数的估计致和估计的方差有什么不同？阐述其中体现的思想。第四部分 最小二乘（OLS）的大样本性质一、背景在有限样本条件下，OLS估计的一系列优良特性都是建立在严格的古典假定上的。显然，在现实生活中，严格的古典假定并不都能得到满足。大样本性质就是在古典假定中的残差服从正态分布这一假定不成立的条件下，利用大数定律和中心极限定理对估计量渐进性质的讨论。二、知识要点1、矩估计、样本矩代替总体矩2、基本的大数定律和中心极限定理3、大样本OLS估计的推导和性质参考章节Chapter5.15.2，Appendix D三、要点细纲1、矩估计、样本矩和总体矩矩估计的方法是由英国统计学家K.Pearson提出的。其基本的思想就是替换，即在确定总体的参数估计值时，基于样本矩依概率收敛于相应的总体矩，样本矩的函数依概率收敛于相应总体矩的函数。因而，可以用样本矩估计（替换）总体矩，通过求解方程组的办法来得到相应的参数估计。（1）总体矩和样本矩的概念总体矩§定义 设X为随机变量，c为常数，k是正整数，则称为X关于c点的k阶总体矩。特别的，有以下两种请况：A、，这时，称为X的k阶总体原点矩；B、，这时，称为X的k阶总体中心矩。可以看出，一阶原点矩为随机变量的期望，二阶中心矩为随机变量的方差。§扩展 关于偏度和峰度A、偏度：偏度衡量的是一个随机变量的分布是否是对称分布，这里的对称指的是关于其均值（期望）对称。偏度是用随机变量的三阶中心矩来衡量的，其公式为：。如果，则称分布为右偏（或者正偏），如果，则称分布为左偏（或者负偏）。遵循可比性的原则，将度量的单位标准化得到“偏度系数”的表达式如下所示：B、峰度：峰度衡量的是一个随机变量的分布在均值附近的陡峭程度如何（注意：这里的陡峭程度有一个对比的标准正态分布）。峰度用随机变量的四阶矩来衡量。其公式为：。很显然，如果X的取值在概率上很集中在EX的附近，就倾向于小；反之，则就会比较大。同样遵循可比性的原则，进行标准化，得到峰度系数的表达式：峰度大小（也就是分布在均值附件集中程度）的衡量是有一个比较标准的，这个标准就是正态分布的峰度3。如果大于3，就是常说的“尖峰”。这在金融时间序列数据中很常见。样本矩和总体矩相对应，关于随机变量的样本矩有如下定义：§定义 设X为随机变量，c为常数，k是正整数，则称为X关于c点的k阶样本矩。A、，这时，称为X的k阶样本原点矩；B、，这时，称为X的k阶样本中心矩。同样采取“替换”的思想，可以得到样本的偏度和峰度。实际上，在具体的实践操作中，总体矩总是未知的，上述统计量都是用样本矩来近似的代替总体矩。（2）总体矩和样本矩的关系可以证明，样本矩依概率收敛于总体矩。因此，在大样本情况下，样本矩可以很好的近似替代总体矩。在计量经济学中，主要指的就是样本均值和样本方差可以很好的替代总体均值和总体方差。（二阶矩）具体证明过程如下：根据定理D.4（Theorem D.4）：如果一个随机样本具有有限的总体均值和总体方差，那么样本均值是总体均值的一致估计。再根据定理D.4的推论（Corollary to Theorem D.4）：一个关于随机样本的函数，如果和是有限的常数，那么有：即函数的样本均值是函数总体均值（期望）的一致估计。取，得到样本的二阶矩（方差）是总体二阶矩（方差）的一致估计。2、基本的大数定律和中心极限定理关于中心极限定理的内容有很多，根据收敛条件的强弱可以分为（1）几乎处处收敛、（2）依矩收敛、（3）依概率收敛和（4）依分布收敛。其中，几乎处处收敛和依矩收敛强于依概率收敛；依概率收敛又强于依分布收敛；而几乎处处收敛和依矩收敛不能相互推出。但是，在众多的中心极限定理中，有两种重要的区别。那就是收敛于一个确定的数，以及收敛于一个已知分布的随机变量。这两者之间有很显著的不同。在计量经济学中关注的通常是一个未知分布的随机变量收敛于另一个已知分布的随机变量（一般而言是正态分布）。这就是依分布收敛的定义和极限分布的由来。需要注意的是大数定律一般是依概率收敛，而中心极限定理一般是依分布收敛。在给出依分布收敛的定义后，就产生了渐进分布的概念。简单来说，当一个未知分布的随机变量依分布收敛于另一个已知分布的随机变量时，这个已知的分布就是该随机变量的渐进分布。而该分布的均值和方差就是这个未知分布随即变量的渐进均值和渐进方差。关于渐进分布的若干运算性质详见教材P907页，定理D.16（Theorem D.16）若干重要的极限定理如下（1） Khinchine弱大数定律如果是来自独立同分布总体的随机样本，且总体均值，则。（2）Chebychev弱大数定律是n个随机样本，满足，并且有。则（3）Kolmogorov强大数定律是分布相互独立的随机变量序列，满足，并且有。则：（4）Slutskys Thoerem如果存在一个连续的关于的函数，且该函数与n无关，那么有：（5）定义是一个的随机矩阵序列，且A是一个非随机、可逆的矩阵，如果有，那么以下结论成立：以概率1存在 或者（6）定义是一个的随机向量，依分布收敛于连续的随机向量X，当且仅当对任意的满足的维的非随机向量c，都有。（7）LindebergLevy中心极限定理是一个独立同分布的维的随机向量序列，且有，（）以及，那么满足中心极限定理，也就是说：。其中，是一个半正定矩阵。（8）LindebergFeller中心极限定理是一个维的随机向量序列，如果有，并且所有的混合三阶矩存在。令：假设是一个有限正定的矩阵，并且有：那么有：LindbergFeller中心极限定理的应用。主要指的是异方差时候的情形（非同分布）。该定理的条件总是假定被满足的，因为在实际的问题中通常不能认为各个不同的指标有相同方差（或者分布）。因此，该定理保证了在更弱的条件下，中心极限定理仍然成立。也就是说，在定理满足的条件下样本均值趋于一个正态分布。该定理也是White异方差一致估计的基础。3、大样本OLS估计的推导和性质大样本性质的推导不依赖于残差项服从正态分布的假设，它仅仅假定是一个相互独立的观测序列。并且有如下条件成立：、是一个正定的矩阵。在总体方程两边同乘并取期望，得到：根据样本矩代替总体矩的思想，有：上式两边取极限，有：所以，是的一致估计量。在同方差假定下，根据LindebergLevy中心极限定理，有：因此，可以得到以下结论：也就是：对总体方差的估计仍然可以采用的形式。但是，在大样本情况下，有如下结果：当时，。因此有：四、思考题1、说明依概率收敛和依分布收敛的区别和联系，阐述LindebergLevy中心极限定理和LindebergFeller中心极限定理假设条件的不同及其应用。2、假定在线性回归模型中，有，但是。问此时是否成立？若不成立，对最小二乘估计的适用性会有什么样的影响？3、假设和有有限的二阶矩，有如下的回归方程：（1）在是随机变量的条件下求的方差（2）定义总体拟合优度为。证明是的一致估计。（1）其中，所以，（2）所以，第五部分 非球型扰动与广义回归模型一、背景在之前内容中，我们主要集中在普通最小二乘估计OLS，以及基于OLS的两阶段最小二乘上。在古典假定下，OLS估计有诸多的优良性质，诸如无偏性、一致性、有效性等。但是，在实际的问题中，古典假定往往是很难得到满足的。那么，在古典假定不能得到满足的情况下，利用OLS估计仍然会具有上述优良特性吗？如果没有，那么应该采取怎么样的处理办法进行修正？这正是广义回归模型这个部分要讨论的内容。二、知识要点1、GR模型中的假设条件2、GR模型中参数估计的方差与古典假定的不同3、White和NeweyWest一致估计4、GLS和FGLS参考章节Chapter 10.110.3、Chapter10.5三、要点细纲1、GR模型的假设广义回归模型GR（Generalized Regression）只是对先前学过的简单线性回归模型的一个扩展。和所有计量经济学模型的扩展一样，模型的扩展往往直接来自对假设条件的放宽。广义回归模型也是这样。回忆在普通最小二乘估计中的古典假定，为了保证估计量的有效性，我们假设回归模型的残差具有同方差性质，并且无自相关，GR模型就是放宽了上述两个假设条件，在这样的情况下，普通最小二乘得到的估计量虽然仍然是无偏和一致的，但是其方差不再是最小的，也就是说，不再是一个有效的估计量。考虑如下的回归方程：根据古典假定，我们有：在无异方差和无自相关的假定下，残差项的方差协方差矩阵是一个对角阵，并且主对角线的元素都相同。即有：（1）若放松关于同方差的假定，允许异方差的存在，但仍然假设无自相关，则上述结果变成：（2）反过来，如果假设不存在异方差，但有自相关，则上述结果为：如果二者同时存在，则结果为：2、GR假设下参数估计的性质（1）无偏性此时，OLS估计获得的估计量仍然是无偏和一致的，但是其有效性会受到较大的影响。对（1）式进行OLS估计获得的结果为：因为，所以有仍然是无偏的。（2）方差的估计在GR模型中，估计量的方差不再是，运用该式对方差进行估计会产生错误的结果。此时正确的估计量的方差估计为：其中，(1/n)XW¢X = (1/n)SiSj wij xi xj¢从渐进的角度来看，在大样本下，如果仍然有以下结论成立的话：那么有：现在，问题的关键是如何估计矩阵W3、GR假定下2SLS的性质在古典假定下，可以得到2SLS估计量为：（1）无偏性（2）的方差的估计在如下假定下：A、是一个有限、可逆的维正定矩阵。B、是一个有限的的矩阵，并且该矩阵的秩是K。令：则有：同样存在的问题是：如何估计矩阵W4、White和NeweyWest的一致估计（1）White 估计需要注意的是，White和NeweyWest一致估计的思想是在GR假定下给出方差协方差矩阵的一致估计，但是并不意味着White和NeweyWest一致估计得到的方差是最小的，也就是最有效的。在假设存在异方差，但不存在自相关的情况下，White给出的方差协方差矩阵的一致估计，也就是著名的White异方差一致估计。White异方差一致估计实际上回避了直接估计矩阵W的问题，而是把(1/n)XW¢X的部分作为一个整体，利用样本进行估计。显然，对(1/n)XW¢X的一个自然的样本估计是：于是，得到对于两阶段最小二乘也有同样的结果：（2）NeweyWest估计NeweyWest一致估计是在同时考虑了异方差和自相关的情况下，给出的估计量的方差协方差矩阵的一致估计。其思想也比较简单，就是分别估计总体方差协方差矩阵的主对角线元素和非主对角线元素。令：，一般在实际应用中取。那么有：5、GLS和FGLS（1）GLS过程上面已经分析过，White和NeweyWest估计只是在GR假定下给出了估计量方差的一致估计，并不能提高估计的有效性。而GLS方法针对的就是如何提高模型估计量的有效性，它给出了存在异方差和自相关假定下的有效估计。GLS的思想十分简单，就是通过对总体方差协方差矩阵的分解，将回归的残差转变成满足古典假定的残差，然后使用OLS估计。由于W是一个正定的对称矩阵，由矩阵代数的知识，我们知道W可以写成如下形式：其中C的每一列是W的特征向量，是W的特征根组成的对角矩阵。令，则有，在古典回归方程两边同乘P，得到：或者写成：可以看出，显然满足古典假定，因此可以用OLS对该式进行估计。得到如下结果：（2）GLS的性质GLS具有无偏性、有效性、渐进正态等优良的性质，具体的阐述和OLS类似，见书P208页定理10.7Aitken定理。（3）FGLSFGLS是GLS在实际问题中的应用。显然，如果方差协方差矩阵是W已知的，那么GLS就是最优的估计方法。但是，在实际的问题中，W往往是未知的。这就要求我们必须先对矩阵W进行估计，得到，然后再按照上述GLS的方法对回归模型进行估计。由于对矩阵W的估计可能有很多，但是什么样的估计才能够使FGLS的估计满足如下一致性条件：可以证明，只要满足条件，也就是说，只要是的一致估计，那么最后的FGLS估计就和GLS估计是一致的。很显然，对矩阵的一个合理的一致估计是：其中对普通最小二乘估计的残差。第六部分 异方差与自相关一、背景在广义回归模型中我们已经讨论了当古典假设条件不能得到满足时如果进行有效的估计。但是，如果古典假定中的同方差和无自相关假定不能得到满足，会引起什么样的估计问题呢？另一方面，如何发现问题，也就是发现和检验异方差以及自相关的存在性也是一个重要的方面，这