多元回归与多元相关分析.ppt

v关于多元回归与多元相关分析1现在学习的是第1页，共30页2v第一节：多元回归分析一、多元线性回归模型l多元线性回归：是指具有两个或两个以上自变量，且各自变量均为一次项的回归。l多元回归跟一元回归在很多方面是相同的，只是多元回归方法更复杂些，计算量相当大，一般通过计算机程序来完成计算。现在学习的是第2页，共30页3l设因变量Y与自变量x1,x2,xm有关系式：lY=a+b1x1+b2x2+bmxm+l其中是随机项。l现有n组数据：（y1；x11，x21，xm1）（y2；x12，x22，xm2）.（yn；x1n，x2n，xmn）l其中，xij是自变量xi的第j个值，yj是Y的第j个观测值。现在学习的是第3页，共30页4l假定：l其中a,b1,bm是待估参数；而1，2,，n相互独立且服从相同的分布N（0，2）现在学习的是第4页，共30页5l样本多元回归方程为：现在学习的是第5页，共30页6二多元线性回归方程的建立l同直线回归一样，用最小二乘法l要使Q达到最小，就必须使Q的偏微分方程皆等于0，即有：现在学习的是第6页，共30页7.l整理得：现在学习的是第7页，共30页8l其中：l该方程组用矩阵表示为：现在学习的是第8页，共30页9l若系数矩阵用A表示，未知项矩阵用b表示，常数矩阵用K表示，则可写为：lAb=K(13.8)l为了求解b，一般应先求出A的逆矩阵A-1，令：lA-1是一个m阶的对称矩阵，即有cij=cji现在学习的是第9页，共30页10lA-1A=Il式12.8两边同乘以A-1，可得lb=A-1Kl即：l例13.1现在学习的是第10页，共30页11v三、多元回归的假设检验和置信区间（一）多元线性回归方程的估计标准误l其中：Sy/12m多元回归方程的估计标准误；lQy/12m多元回归方程的离回归平方和（剩余平方和）；ldf=n-(m+1)=n-m-1，因为在计算多元回归方程时，已用去a,b1,b2,bm共m+1个统计数。现在学习的是第11页，共30页12l与直线回归分析类似，多元回归中因变量y的总平方和也可分解为离回归平方和（剩余平方和）与回归平方和（Uy/12m）即：l例13.2现在学习的是第12页，共30页13（二）多元线性回归方程的假设检验l多元线性回归关系假设检验的原理和方法与直线回归关系的假设检验是一样的。l其假设为;HA:不全为0。l可通过F检验来实现：l式中：分子自由度df1=m，分母自由度df2=n-(m+1)现在学习的是第13页，共30页14l这里应注意两个问题：1）多元线性回归关系显著不排斥有更合理的多元非线性回归方程的存在；2）多元线性回归关系显著也不排斥其中存在着与因变量y无线性关系的自变量，因此有必要对各偏回归系数逐个进行假设检验，以便发现和剔除=0的自变量。l一般说来，只有当多元回归方程的自变量的偏回归系数均达到显著时，多元回归检验的F值才有确定意义。l例13.3现在学习的是第14页，共30页15（三）偏回归系数的假设检验l偏回归系数的假设检验是逐个分别计算各偏回归系数bi来自i=0的总体的概率。l所作的假设为：l偏回归系数的假设检验有t检验和F检验两种。lt检验和F检验结果是完全一样的（F=t2）,实际应用时可任选一种。现在学习的是第15页，共30页16（1）t检验l偏回归系数bi的标准误为：l符 合 df=n-(m+1)的 t分 布，故 在H0:i=0的假设下，由可知bi抽自i的总体的概率。现在学习的是第16页，共30页17（2）F检验lUpiy在xi上的偏回归平方和l可确定bi来自i=0的总体的概率。l例13.4现在学习的是第17页，共30页18（四）多元线性回归的区间估计l多元线性回归中因变量y的估计一般有两种。1）对各变量的一组取值所对应的y总体平均数y/12m的估计；2）对各变量的一组取值所对应的单个y的估计（观测值y）ly/12m的置信区间为：现在学习的是第18页，共30页19l单个y的置信区间可用下式估计：l例13.5现在学习的是第19页，共30页20v第二节 多元相关分析一多元相关分析l多元相关或复相关:是指m个自变量和因变量的总相关。l用多元相关系数Ry/12m来表示m个自变量与因变量y总的密切程度。（13.32）现在学习的是第20页，共30页21lRy/12m的取值区间为0，1，接近1，相关程度高，多元相关系数的假设检验用F检验，而不能用t检验。l假设H0：=0；对HA：0，其F值为：l（13.33）l式中，df1=m,df2=n-m-1,R2=R2y/12ml多元相关系数的显著性与多元回归方程的显著性一致，即Ry/12m显著，多元回归方程必显著。现在学习的是第21页，共30页22l对同一资料，多元相关与多元回归的假设检验只需要进行一种。l由于在df1=m,df2=n=m-1一定时，给定显著水平的F值也一定，所以将式12.47移项整理，可得显著水平为时临界R值：l（13.34）lR与比较，R相关l按自由度df=n-m-1和变量个数M=m+1查附表14，而不必直接计算。现在学习的是第22页，共30页23l称决定系数l它是多元回归平方和占y的总变异平方和的比率。l即有x%可由自变量的变异决定。l例13.6P247现在学习的是第23页，共30页24二、偏相关l偏相关系数:在其他变量都保持一定时，表示指定的两个变量之间相关密切程度的量值称为偏相关系数。l偏相关系数用r加下标表示。l如三个变量x1,x2,x3则r12,3表示x3保持一定时，x1与x2的偏相关系数。l偏相关系数的取值范围和简单相关系数一样，也是-1，1。现在学习的是第24页，共30页25（一）偏相关系数的一般解法l第一步：计算由简单相关系数构成的相关矩阵R(xi,xj,y)：l第二步：求其逆矩阵R-1现在学习的是第25页，共30页26l第三步：计算偏相关系数rij.:l例13.7现在学习的是第26页，共30页27（二）偏相关系数的间接解法l当只有三个变量时，可用简单相关系数间接计算偏相关系数。l设三个变量为xi,xj,xk,则当xk保持一定时，xi和xj间的偏相关系数为：ll（13.36）l例13.8P250l四个变量略。现在学习的是第27页，共30页28（三）偏相关系数的假设检验l偏相关系数假设检验可采用t检验，同简单相关系数的假设检验相类似，检验的假设为H0:ij=0,HA:ij0l其t值为：l（13.39）l它服从自由度为n-M的t分布。若|t|t为显著，在实践中，不需计算此t值，而是将rij.与一定显著水平下的临界rij.值相比较。现在学习的是第28页，共30页29l由13.39推出：l若实际算得的|rij.|r0.05或r0.01,则rij.为显著或极显著，否则不显著。l这些r.值已列入附表14的M=2列。l例13.9P250现在学习的是第29页，共30页感感谢谢大大家家观观看看现在学习的是第30页，共30页