一种最简单的估计方法——普通最小二乘法
2 Least 2 Least 2 ( 2, 3) ( 2, 3) 普通最小二乘法 Least 2© of and, 2010 2 Least 2 Least Main 主要内容 ❖ 单变量回归模型的最小二乘（OLS）估计 ❖ 多元回归模型的最小二乘（Least (OLS) 估计） ❖ 回归方程的拟合 回归方程的拟合 :: 决定系数 回归方程的决定拟合和, 2010 2 Least 2 Least 回归分析中的主要目的是从样本回归函数((SRF)估计总体回归函数()来估计总体回归函数(PRF)，但是, 由于抽样的波动, 根据抽样的波动, 根据t估计的数量 o SRF is only an of the real ，它只是真实PRF的近似结果。 实际数量只是实际 PRF 的近似结果。 一个近似结果。 你能不能设计一个规则或估计方法使这个近似结果的误差尽可能小？ 结果的误差越小越好？本讲将介绍一种最简单的估计方法。 本讲将介绍一种最简单的估计方法——普通最小二乘法（Least，回归分析的主要目的是基于样本回归函数），但估计的PRF是最好的。
. At best © of and , 2010 Can you a rule or to make this ), OLS) 第二讲 Least 第二讲 Least Model of Model OLS估计估计 PRF： It is Not , 不能直接观察，必须用SRF估计： : ::。 估计。 ^iXβ: 12^^ββ=++β=βε++© 和 , 2010 为实际值，其估计值为实际值与其估计值之差。 不同之处。 12 ^^β=−=−−iYY^ 2 Least 2 Least Least Least (1) 用“最小残差和”来确定直线的位置？ 确定线路位置？ ((2 2))采用“”残差绝对值((2 2))采用“残差绝对值和最小值”确定直线位置？(3) (3) 最小二乘法 最小化原则 is 所以直线的位置由“最小残差平方和”和“最小残差平方和”决定。确定直线的位置。 (1)用“最小残差和” value etet© of and , 2010 and " 来确定线位置？ 2 Least 2 Least of Model的原理 of Model ❖ Least uses the of the sum of : Least the sum of ^^ ()()ββ=====−=−−© 和 , ^(,)niief ββ==12i^iix yxβ =02^YXββ=−()iixXX=−() iiyYY=− which, where,,, 如何获取？ 你怎么得到的？ ()()()() in01^20^^20^(Y(XXXXββββββββββββ=∂ ∂ = −−−=∂= −−= ∂ YY X−−∂最小二乘估计量的数学推导： 最小二乘估计量的数学推导： )^XY)i^(( YXXβββββ=+ =+−= 22022)()^)−YYix ββ−−=−==− 2 Least 2 Least O LS估计量的性质O LS估计量 根据最小化残差平方和计算的参数估计量称为参数估计量，根据最小化残差平方和计算的参数估计量称为普通最小二乘法（ least (OLS)）估计量。
估计。 样本回归线穿过样本回归线通过Y和X的样本均值的样本均值 残差之和为0 OLS是“最优”估计方法 © and , 2010 第2讲普通最小二乘法 2 Least An : An : ❖ - （收入-消费问题（.1）：收入。收入。）：Y为，Yes ，X为回归方程回归方程： ::: © of and , β=βε++ 待填变量, 待填变量, 回归结果, 回归结果, 回归曲线, 回归曲线, 2 Least 2 Least 思考问题 ❖ 收入是否只是影响一个家庭消费决策的因素？ 收入只是影响家庭消费决策的因素吗？ ❖ 除了身高，你认为还有哪些因素会影响一个人的体重？ 重量？ …除了身高，你认为还有哪些因素会影响一个人？ © of and , 2010 2 Least 2 Least OLS of Model 多元线性回归是三变量模型 最简单的多元线性回归是三变量模型 一个三变量包含一个因变量和两个解释变量的模型及其整体回归函数 整体回归函数PRF为： 对于： ββ=+三 对于一个包含一个因变量和两个解释变量的变量模型，©的和, βε++2iX 是什么意思？ 你是什么意思？ 第2讲普通最小二乘法第2讲普通最小二乘法基本概念 多元线性回归 多元线性回归基本概念 ❖ 多元自变量回归模型 多元自变量回归模型 回归模型 Yβ= 那么，对于被解释变量，那么经过n次观察被解释变量Y和解释变量的关系，得到观测值后，将得到的n组样本代入上式：YXββ=+,X3,βββε,...,++和解释变量X2 2、组 代入上式有 Xβ++β++33nnXβ+++© of and , 2010, Xk made βε+βββε=++βββε=++ + 2 Least 2普通最小二乘法 多元线性回归基本概念 多元线性回归基本概念 以矩阵形式表示，有的以矩阵形式表示，还有1YYXXXXββε ε © 和 , =Yβε=+ε= Xβ+n × × k 2 Least 2 Least Least Least ❖ 多元线性回归模型 多元线性回归模型 yXβε=+© of and , 2010 假设1:: [ ]E ε =0 为什么是有这个假设吗？ 为什么这个假设？ 2var( )εσ=()() 2 Least 2 Least Least Least ❖ 普通最小二乘估计( Least (OLS)) 1.原理：最小和平方残差。 原理：残差平方和的最小值。 ==−−−+ 什么是乘法？ 什么？ 估计是怎么乘的？ 如何估算？ β如果存在逆矩阵，则上式有解的逆，则上式有解XX′对ββ求导，使其等于0，则可得k××k X XX yβ′′=这个方程要满足什么条件才能有解？ 只有一个方程可以解吗？ 满足什么条件，满足什么条件，满足什么条件，满足什么条件，满足什么条件，就可以逆转吗？ 只有可逆吗？ XX ′1^()X XX yβ−′′=假设 假设2:: 数据矩阵 数据矩阵X满秩，即矩阵列满秩，即矩阵的逆存在。
逆向存在。 XX′满秩的隐含意义是各自变量相互独立。 满秩的隐含意义是自变量相互独立。 , full rank的经济意义是什么？ 完全排名的经济影响是什么？ 第2讲普通最小二乘法第2讲普通最小二乘法思考题思考题最小二乘估计量最小二乘估计量^β是随机变量吗？ 为什么？ 是随机变量吗？ 为什么？ 判断一个估算器好坏的标准是什么？ 判断一个估计量好坏的标准是什么？ © of and , 2010 2 Least 2 Least Least Least ❖ 普通最小二乘估计（ Least (OLS)）判断方法的优劣，以及判断估计方法的优缺点 ′′′′==+=+1^[ ]Eβ()[]XX 假设3是什么意思？ 什么意思？ 0E Xβε'−'=+ 估计值的均值是估计值的均值。 如果无偏，则有[|Eε:E:]] 0XX==假设假设3：假设假设3：假设[|ε因为在假设1下，有[|Eε]0cov[普通最小二乘准则是，[|XE]]cov[， ]X0[]0XXE Xεεε ′=⇔==⇔=if any 1111 ^^^var[ ][([(XX)() ]XXX)XE() ])()[] (XXX′EE XX′X′ βββ ββ′εεεε−−−−′===−′−′′ ′如果有则有假设4:: 2[]EIεεσ′=21^var[ ]()X Xβσ−′=可以证明这个是最小方差。
可以证明这是最小方差。 Gauss- ：马尔可夫定理：如果上述假设成立，如果上述假设成立，则OLS估计量是最好的线性无偏估计量(BLUE) 最好的线性无偏估计量(BLUE)。 高斯。 假设 假设 4 是什么意思？ 什么意思？ : : ^limpββ= 在有限样本的情况下，经典回归模型假设数据是在有限样本的情况下，经典回归模型假设数据X是固定变量，否则最小二乘估计量可能是有偏的并且是固定变量，否则最小二乘估计量可能有偏。 . 但在大样本的情况下，是的。 . 但是在大样本的情况下，X必须满足一些条件，最小二乘估计量会按照概率收敛到真实值。 收敛于真值。 , even if X is is , even if X is is , only, 只有满足某些条件，最小二乘估计量才会对X的每一列的每一列xk以概率1.不退化。 2. 随着样本量的增加，个别观察变得不重要。 随着样本量的增加，个别观察变得不重要。 3. X 有满秩。 列出满级。 没有退化。 第2讲 普通最小二乘法 第2讲 普通最小二乘法 经典模型的基本假设 经典回归模型的基本假设： 经典回归模型的基本假设： 假设1：[ ] E ε = 0© of and , 2010 假设2:: data Data矩阵 X 满秩，即矩阵列满秩，即矩阵 [ |]0EXε = 假设 3： 假设 4:: []Eεεσ′ = 逆存在。
逆向存在。 XX' : 2I 2 Least 2 Least Least Least ❖ 普通最小二乘估计（ Least (OLS)） 3. 最小二乘估计系数的特征。 最小二乘估计系数的特征© 和 , 2010如果多元回归中的变量不相关，则多元回归的斜率与多元简单回归中的斜率相同。 与多元简单回归中的斜率相同。 如果一个多元回归中的变量是不相关的，则多元回归的斜率 回归超平面通过数据的均值点，回归拟合值的均值等于实际值的均值。 实际值的平均值。 回归超平面通过数据的均值点，回归拟合值的均值等于M:: it by let it any M:: it by let it any y y, ^Xβ^yy e=P=both will both 将产生 y 对，both 将产生 y 对。 注意两个特殊矩阵 注意两个特殊矩阵 M 和 e 以及 P^β11()(My())yXyX XX−X yIX X XX y′−−====−'''。 P( , ): 乘以任意向量( , ): 乘以任意向量y，将产生y到x值回归的最小二乘拟合。
最小二乘法适合回归。 ,让拟合值 让拟合值,则有,则有 − =XX Xˆ y=[]I′M yXPy−)=1(−′偏回归系数 偏回归系数 ββ加什么,去掉什么.加什么,去.加什么,去什么.加什么,去什么.ε=++11^1′11′22^^()()X XX yXββ−=−122′122′1() ()XMX′XM yβ−= 多元回归方程的妙用： 多元回归方程的妙用： 多元回归方程的妙用： 多元回归方程的妙用： *2*21*2 *()X XX y−′=其中,,..*212XM X=* 1yM y=解释：是 解释：是X2回归后的残差变量，这个过程排除或筛掉了影响，所以有称为偏回归系数。所以称为偏回归系数。在X1上回归后的残差变量，回归后的残差变量，回归后的残差变量。这个过程排除或筛选掉影响，就是t he of y to X1 for *2X*y : 偏回归系数的解释： 当其他变量相同时（保持其他变量不变），特定变量对解释变量的边际影响（贡献）。 当，特定变量对解释变量的边际影响（贡献）。 ) 2 Least 2 Least ❖ 一家超市的老板要根据能力来决定销售经理的薪资水平？ 他能实现吗？ 他的工资水平？ 他能实现吗？ 如果某店长春节期间卖了很多货，他的能力真的很强吗？ 他的能力真的很强吗？超市怎么解决问题？ 老板的烦恼怎么办？ 怎样才能解决超市老板的烦恼呢？ 某超市老板打算根据销售经理的能力来决定 © 和 , 2010 2 Least 2 Least 例子：美国国防预算支出（例子：美国国防预算支出（. 2)) 为了说明美国经济实力对其国防预算的影响，现考虑以下模型： βββ++ = 其中 Yt = 年国防预算支出 = t 年国防预算支出，国防预算10 亿美元的支出 X2t = t 年的 GNP，1 亿美元的 10 亿美元 X3t = t 年的军事销售额，军事销售额，单位为十亿 X4t = t 年的航天工业销售额，航天工业销售额，单位为十亿 在上面的等式中，是控制变量？ 上式中，哪些是控制变量？ 影响, βε ++© 和 , 2010 亿美元, 十亿美元, 十亿美元, 1962-1981 美国国防预算支出数据 年份 美国国防预算支出数据 填写变量 点击回归结果 如何选择回归结果控制变量？ 如何...
九软件 版权声明：以上发布的内容及图片均来源于网络，如有无意侵犯到您的权利，请联系我们及时删除！
