普通最小二乘法回归
普通最小二乘法(ordinary least square,简称OLS),是应用最广泛的参数估计方法,我们主要使用这种方法估计参数。
例如,我们已知上面所给的股票A和股票B的价格,我们想知道股票B的价格变化股票A的价格的影响大小。它们之间的关系如图7.1所示。
图7.1 股票价格图
我们假设股票A与股票B之间存在线性关系,也就是说股票B的价格变化1元时,股票A的价格变化月元。这个关系可以用下面的式子来表示。
PA=a+PB+u
a是股票A自有的一些因素对其价格的影响,与股票B无关。u是股票市场中一些无法预计的因素对股票价格的影响,的期望为0,被称为随机误差项。这样的关系在图中就是一条直线,这条直线应该与我们观测到的样本点的偏离最小。如何来表示这个偏离,最小二乘法采用的判断标准是二者之差的平方和最小。为什么用平方和?因为二者之差可正可负,简单求和可能将很大的误差抵消掉,只有平方和才能反映二者在总体上的接近程度。由这个基础出发,我们就可以得到系数估计的公式。这里我们省略了具体的推导过程,直接给出系数的估计公式。
根据估计出的参数我们可以得到一组拟合值,下图为实际价格与拟合价格的对比。
图7.2 股价拟合
拟合值比较接近地反应了实际值的变化趋势。