計画行列を用いた直線フィットの正規方程式の導出

問題 0085 計画行列を用いた直線フィットの正規方程式の導出

データ点 $(x_{i},y_{i})$ ($i=1,\dots,n$) に直線 $y=ax+b$ をフィットする最小二乗問題を、計画行列

$$A=\begin{pmatrix}x_{1}&1\\ x_{2}&1\\ \vdots&\vdots\\ x_{n}&1\end{pmatrix},\qquad\bm{x}=\begin{pmatrix}a\\ b\end{pmatrix},\qquad\bm{y}=\begin{pmatrix}y_{1}\\ y_{2}\\ \vdots\\ y_{n}\end{pmatrix}$$

を用いて $\|\bm{y}-A\bm{x}\|^{2}$ の最小化として定式化し、正規方程式 $A^{\top}A\,\bm{x}=A^{\top}\bm{y}$ を導け。さらに、この行列形式が

$$(x_{1},y_{1})=(0,1),\quad(x_{2},y_{2})=(1,2),\quad(x_{3},y_{3})=(2,2),\quad(x_{4},y_{4})=(3,4)$$

というデータに対する偏微分による正規方程式と一致することを確認せよ。